参考信息
数据类型映射
MySQL 到 KaiwuDB
| MySQL | 关系引擎 | 时序引擎 |
|---|---|---|
| BOOLEAN | BOOL | BOOL |
| TINYINT(1) | BOOL | BOOL |
| TINYINT | INT2 | INT2 |
| SMALLINT | INT2 | INT2 |
| INT | INT4 | INT4 |
| MEDIUMINT | INT4 | INT4 |
| TINYINT UNSIGNED | INT2 | INT2 |
| SMALLINT UNSIGNED | INT4 | INT4 |
| MEDIUMINT UNSIGNED | INT4 | INT4 |
| INT UNSIGNED | INT8 | INT8 |
| BIGINT UNSIGNED | NUMERIC(20) | INT8 |
| BIGINT | INT8 | INT8 |
| DECIMAL | DECIMAL | FLOAT8 |
| DOUBLE | FLOAT8 | FLOAT8 |
| FLOAT | FLOAT4 | FLOAT4 |
| DATE | TIMESTAMP | TIMESTAMP |
| DATETIME | TIMESTAMP | TIMESTAMP |
| TIMESTAMP | TIMESTAMP | TIMESTAMP |
| TIME | TIME | TIMESTAMP |
| CHAR | CHAR | CHAR |
| VARCHAR | VARCHAR | VARCHAR |
| BINARY | BYTEA | VARBYTES |
| VARBINARY | VARBYTES | VARBYTES |
| LONG VARBINARY | VARBYTES | VARBYTES |
| BLOB | BYTES | VARBYTES |
| MEDIUMBLOB | BYTES | VARBYTES |
| LONGTEXT | TEXT | NVARCHAR |
| JSON | JSON | NVARCHAR |
PostgreSQL 到 KaiwuDB
| PostgreSQL | 关系引擎 | 时序引擎 |
|---|---|---|
| BIT | BIT | BOOL |
| BOOL | BOOL | BOOL |
| INT2 | INT2 | INT2 |
| INT4 | INT4 | INT4 |
| INT8 | INT8 | INT8 |
| DECIMAL | DECIMAL | FLOAT8 |
| NUMERIC | NUMERIC | FLOAT8 |
| MONEY | DECIMAL | FLOAT8 |
| FLOAT8 | FLOAT8 | FLOAT8 |
| FLOAT4 | FLOAT4 | FLOAT4 |
| DATE | DATE | TIMESTAMP |
| TIMESTAMP | TIMESTAMP | TIMESTAMP |
| TIMESTAMPTZ | TIMESTAMPTZ | TIMESTAMPTZ |
| TIME | TIME | TIMESTAMP |
| TIMETZ | TIMETZ | TIMESTAMPTZ |
| BPCHAR, CHAR | CHAR | CHAR |
| VARCHAR | VARCHAR | VARCHAR |
| BYTEA | BYTES | VARBYTES |
| BLOB | BYTES | VARBYTES |
| VARBIT | VARBIT | VARCHAR |
| TEXT | TEXT | NVARCHAR |
| JSON | JSON | NVARCHAR |
| JSONB | JSONB | NVARCHAR |
| UUID | UUID | VARCHAR |
| UNKNOWN | UNKNOWN | VARCHAR |
Oracle 到 KaiwuDB
| Oracle | 关系引擎 | 时序引擎 |
|---|---|---|
| ROWID | INT4 | INT4 |
| BOOLEAN | BOOL | BOOL |
| NUMBER(5,0) | INT2 | INT2 |
| NUMBER(5) | INT2 | INT2 |
| NUMBER(10,0) | INT4 | INT4 |
| NUMBER(10) | INT4 | INT4 |
| NUMBER(19,0) | INT8 | INT8 |
| NUMBER(19) | INT8 | INT8 |
| NUMBER | FLOAT4 | FLOAT4 |
| FLOAT | FLOAT4 | FLOAT4 |
| BINARY_FLOAT | FLOAT4 | FLOAT4 |
| BINARY_DOUBLE | FLOAT8 | FLOAT8 |
| CHAR | CHAR | CHAR |
| VARCHAR2 | VARCHAR | VARCHAR |
| NCHAR | TEXT | NCHAR |
| NVARCHAR2 | TEXT | NVARCHAR |
| BLOB | BYTES | VARBYTES |
| CLOB | TEXT | NVARCHAR |
| RAW | BYTES | VARBYTES |
| DATE | TIMESTAMP | TIMESTAMP |
| TIMESTAMP | TIMESTAMP | TIMESTAMP |
| TIMESTAMP(3) | TIMESTAMP | TIMESTAMP |
| TIMESTAMP(6) | TIMESTAMP | TIMESTAMP |
TDengine 到 KaiwuDB
| TDengine | 时序引擎 |
|---|---|
| BOOL | BOOL |
| TINYINT | INT2 |
| SMALLINT | INT2 |
| INT | INT4 |
| BIGINT | INT8 |
| DOUBLE | FLOAT8 |
| FLOAT | FLOAT4 |
| NCHAR | NCHAR |
| VARCHAR | VARCHAR |
| BINARY | VARBYTES |
| VARBINARY | VARBYTES |
| TIMESTAMP | TIMESTAMP |
| JSON | NVARCHAR |
| TINYINT UNSIGNED | INT2 |
| SMALLINT UNSIGNED | INT4 |
| INT UNSIGNED | INT8 |
| BIGINT UNSIGNED | INT8 |
InfluxDB 到 KaiwuDB
| InfluxDB | 时序引擎 |
|---|---|
| BOOLEAN | BOOL |
| INTEGER | INT4 |
| LONG | INT8 |
| DOUBLE | FLOAT8 |
| FLOAT | FLOAT8 |
| STRING | VARCHAR |
| TIMESTAMP | TIMESTAMP |
迁移策略配置参数
关系数据库
ClickHouse、MySQL、Oracle、PostgreSQL、SQL Server
| 参数名 | 说明 | 是否必填 |
|---|---|---|
切分主键 | 自定义切分主键 | ✗ |
where 过滤条件 | 自定义 WHERE 过滤条件 | ✗ |
查询 SQL 语句 | 自定义查询 SQL 语句集合 | ✗ |
时序数据库
KaiwuDB
源端
| 参数名 | 说明 | 是否必填 |
|---|---|---|
where 过滤条件 | 自定义 WHERE 过滤条件。用于筛选满足条件的数据，支持指定普通字段列和标签列 | ✗ |
开始时间过滤 | 自定义开始时间过滤条件，与结束时间过滤为必填项，通过设定时间范围，实现按指定区间迁移数据 | ✓ |
结束时间过滤 | 自定义结束时间过滤条件，与开始时间过滤为必填项，通过设定时间范围，实现按指定区间迁移数据 | ✓ |
切分时间间隔 | 表数据切分时间间隔（单位：秒），按自定义的时间范围分批读取数据，避免单次读取数据量过大导致内存不足或响应超时 | ✗ |
时间列 | 查询时的时间列名称 | ✓ |
查询 SQL 语句 | 自定义查询 SQL 语句集合，用于指定查询和迁移的数据，查询 SQL 语句与 where 过滤条件、时间过滤参数互斥，配置后映射关系页面选定的列信息将失效 | ✗ |
目标端
| 参数名 | 说明 | 是否必填 |
|---|---|---|
写入模式 | 写入模式（INSERT/UPSERT，默认：INSERT） | ✗ |
写入前要执行的语句 | 写入前要执行的 SQL 语句 | ✗ |
写入后要执行的语句 | 写入后要执行的 SQL 语句 | ✗ |
TDengine
| 参数名 | 说明 | 是否必填 |
|---|---|---|
where 过滤条件 | 自定义 WHERE 过滤条件。用于筛选满足条件的数据，支持指定普通字段列和标签列 | ✗ |
开始时间过滤 | 自定义开始时间过滤条件，与结束时间过滤配合使用，通常用于增量迁移，以及避免单次读取数据量过大导致内存不足或响应超时 | ✗ |
结束时间过滤 | 自定义结束时间过滤条件，与开始时间过滤配合使用，通常用于增量迁移，以及避免单次读取数据量过大导致内存不足或响应超时 | ✗ |
查询 SQL 语句 | 自定义查询 SQL 语句集合，用于指定查询和迁移的数据，查询 SQL 语句与 where 过滤条件、时间过滤参数互斥，配置后映射关系页面选定的列信息将失效 | ✗ |
字符集类型 | TDengine 中字符集类型 | ✗ |
InfluxDB
| 参数名 | 说明 | 是否必填 |
|---|---|---|
切分时间间隔 | 表数据切分时间间隔（单位：秒）按自定义的时间范围分批读取数据，避免单次读取数据量过大导致内存不足或响应超时 | ✓ |
开始时间过滤 | 开始时间（格式：yyyy-MM-dd HH:mm:ss），与结束时间过滤为必填项，通过设定时间范围，实现按指定区间迁移数据 | ✓ |
结束时间过滤 | 结束时间（格式：yyyy-MM-dd HH:mm:ss），与开始时间过滤为必填项，通过设定时间范围，实现按指定区间迁移数据 | ✓ |
读取数据超时时间 | 读取数据超时时间 | ✗ |
建立连接超时时间 | 建立连接超时时间 | ✗ |
OpenTSDB
| 参数名 | 说明 | 是否必填 |
|---|---|---|
开始时间过滤 | 开始时间（格式：yyyy-MM-dd HH:mm:ss），与结束时间过滤为必填项，通过设定时间范围，实现按指定区间迁移数据 | ✓ |
结束时间过滤 | 结束时间（格式：yyyy-MM-dd HH:mm:ss），与开始时间过滤为必填项，通过设定时间范围，实现按指定区间迁移数据 | ✓ |
文件存储和 NoSQL 数据库
FTP
| 参数名 | 说明 | 是否必填 |
|---|---|---|
FTP 服务协议 | FTP 服务协议（ftp/sftp） | ✓ |
连接超时时间 | 连接超时时间（单位：毫秒） | ✗ |
连接模式 | 连接模式（支持主动模式 PORT 和被动模式 PASV，默认：PASV） | ✗ |
字段分隔符 | 读取的字段分隔符（默认：,） | ✓ |
文本压缩类型 | 文本压缩类型（zip/gzip/bzip2），默认不填写表示不压缩 | ✗ |
编码配置 | 文件的编码配置（默认：utf-8） | ✗ |
null 字符串 | 文本文件中无法使用标准字符串定义 NULL | ✗ |
跳过表头 | 是否跳过表头，适用于表头为标题的类 CSV 格式文件。默认不跳过 | ✗ |
允许遍历文件夹的最大层数 | 最大文件夹遍历层数 | ✗ |
CSV 参数配置 | CSV 文件参数配置（Map类型） | ✗ |
HDFS
| 参数名 | 说明 | 是否必填 |
|---|---|---|
path | HDFS 文件路径（支持多个） | ✓ |
文件的类型 | 文件类型（text/orc/rc/seq/csv） | ✓ |
字段分隔符 | 字段分隔符（默认：,） | ✗ |
编码配置 | 文件的编码配置（默认：utf-8） | ✗ |
文本压缩类型 | 文件类型为 CSV 时的文件压缩方式（gzip/bz2/zip/lzo/lzo_deflate/hadoop-snappy/framing-snappy） | ✗ |
是否有 Kerberos 认证 | 是否有 Kerberos 认证（默认：false） | ✗ |
kerberosPrincipal | Kerberos 认证 Principal 名, 有 Kerberos 认证时为必填 | ✗* |
kerberosKeytabFilePath | Kerberos 认证 keytab 文件路径，格式为绝对路径 | ✗ |
hadoopConfig | Hadoop 相关高级参数 | ✗ |
null 字符串 | 文本文件中无法使用标准字符串定义 NULL | ✗ |
CSV 参数配置 | CSV 文件参数配置（Map 类型） | ✗ |
fileName | HDFS Writer 写入时的文件名 | ✗ |
writeMode | HDFS Writer 写入前数据清理处理模式（append/nonConflict/truncate） | ✓ |
MongoDB
| 参数名 | 说明 | 是否必填 |
|---|---|---|
查询 | MongoDB 查询条件 | ✗ |