参考信息
数据类型映射
MySQL 到 KaiwuDB
| MySQL | 关系引擎 | 时序引擎 |
|---|---|---|
| BOOLEAN | BOOL | BOOL |
| TINYINT(1) | BOOL | BOOL |
| TINYINT | INT2 | INT2 |
| SMALLINT | INT2 | INT2 |
| INT | INT4 | INT4 |
| MEDIUMINT | INT4 | INT4 |
| TINYINT UNSIGNED | INT2 | INT2 |
| SMALLINT UNSIGNED | INT4 | INT4 |
| MEDIUMINT UNSIGNED | INT4 | INT4 |
| INT UNSIGNED | INT8 | INT8 |
| BIGINT UNSIGNED | NUMERIC(20) | INT8 |
| BIGINT | INT8 | INT8 |
| DECIMAL | DECIMAL | FLOAT8 |
| DOUBLE | FLOAT8 | FLOAT8 |
| FLOAT | FLOAT4 | FLOAT4 |
| DATE | TIMESTAMP | TIMESTAMP |
| DATETIME | TIMESTAMP | TIMESTAMP |
| TIMESTAMP | TIMESTAMP | TIMESTAMP |
| TIME | TIME | TIMESTAMP |
| CHAR | CHAR | CHAR |
| VARCHAR | VARCHAR | VARCHAR |
| BINARY | BYTEA | VARBYTES |
| VARBINARY | VARBYTES | VARBYTES |
| LONG VARBINARY | VARBYTES | VARBYTES |
| BLOB | BYTES | VARBYTES |
| MEDIUMBLOB | BYTES | VARBYTES |
| LONGTEXT | TEXT | NVARCHAR |
| JSON | JSON | NVARCHAR |
PostgreSQL 到 KaiwuDB
| PostgreSQL | 关系引擎 | 时序引擎 |
|---|---|---|
| BIT | BIT | BOOL |
| BOOL | BOOL | BOOL |
| INT2 | INT2 | INT2 |
| INT4 | INT4 | INT4 |
| INT8 | INT8 | INT8 |
| DECIMAL | DECIMAL | FLOAT8 |
| NUMERIC | NUMERIC | FLOAT8 |
| MONEY | DECIMAL | FLOAT8 |
| FLOAT8 | FLOAT8 | FLOAT8 |
| FLOAT4 | FLOAT4 | FLOAT4 |
| DATE | DATE | TIMESTAMP |
| TIMESTAMP | TIMESTAMP | TIMESTAMP |
| TIMESTAMP | TIMESTAMP | TIMESTAMP |
| TIMESTAMPTZ | TIMESTAMPTZ | TIMESTAMPTZ |
| TIME | TIME | TIMESTAMP |
| TIMETZ | TIMETZ | TIMESTAMPTZ |
| BPCHAR, CHAR | CHAR | CHAR |
| VARCHAR | VARCHAR | VARCHAR |
| BYTEA | BYTES | VARBYTES |
| BLOB | BYTES | VARBYTES |
| VARBIT | VARBIT | VARCHAR |
| TEXT | TEXT | NVARCHAR |
| JSON | JSON | NVARCHAR |
| JSONB | JSONB | NVARCHAR |
| UUID | UUID | VARCHAR |
| UNKNOWN | UNKNOWN | VARCHAR |
Oracle 到 KaiwuDB
| Oracle | 关系引擎 | 时序引擎 |
|---|---|---|
| ROWID | INT4 | INT4 |
| BOOLEAN | BOOL | BOOL |
| NUMBER(5,0) | INT2 | INT2 |
| NUMBER(5) | INT2 | INT2 |
| NUMBER(10,0) | INT4 | INT4 |
| NUMBER(10) | INT4 | INT4 |
| NUMBER(19,0) | INT8 | INT8 |
| NUMBER(19) | INT8 | INT8 |
| NUMBER | FLOAT4 | FLOAT4 |
| FLOAT | FLOAT4 | FLOAT4 |
| BINARY_FLOAT | FLOAT4 | FLOAT4 |
| BINARY_DOUBLE | FLOAT8 | FLOAT8 |
| CHAR | CHAR | CHAR |
| VARCHAR2 | VARCHAR | VARCHAR |
| NCHAR | TEXT | NCHAR |
| NVARCHAR2 | TEXT | NVARCHAR |
| BLOB | BYTES | VARBYTES |
| CLOB | TEXT | NVARCHAR |
| RAW | BYTES | VARBYTES |
| DATE | TIMESTAMP | TIMESTAMP |
| TIMESTAMP | TIMESTAMP | TIMESTAMP |
| TIMESTAMP(3) | TIMESTAMP | TIMESTAMP |
| TIMESTAMP(6) | TIMESTAMP | TIMESTAMP |
TDengine 到 KaiwuDB
| TDengine | 时序引擎 |
|---|---|
| BOOL | BOOL |
| TINYINT | INT2 |
| SMALLINT | INT2 |
| INT | INT4 |
| BIGINT | INT8 |
| DOUBLE | FLOAT8 |
| FLOAT | FLOAT4 |
| NCHAR | NCHAR |
| VARCHAR | VARCHAR |
| BINARY | VARBYTES |
| VARBINARY | VARBYTES |
| TIMESTAMP | TIMESTAMP |
| JSON | NVARCHAR |
| TINYINT UNSIGNED | INT2 |
| SMALLINT UNSIGNED | INT4 |
| INT UNSIGNED | INT8 |
| BIGINT UNSIGNED | INT8 |
InfluxDB 到 KaiwuDB
| InfluxDB | 时序引擎 |
|---|---|
| BOOLEAN | BOOL |
| INTEGER | INT4 |
| LONG | INT8 |
| DOUBLE | FLOAT8 |
| FLOAT | FLOAT8 |
| STRING | VARCHAR |
| TIMESTAMP | TIMESTAMP |
迁移配置参数
关系数据库
ClickHouse、MySQL、Oracle、PostgreSQL、SQL Server
| 参数名 | 说明 | 是否必填 |
|---|---|---|
table | 需要同步的表名 | ✓ |
column | 表列名（逗号分隔字符串） | ✗ |
splitPk | 自定义切分主键 | ✗ |
where | 自定义WHERE过滤条件 | ✗ |
querySql | 自定义查询SQL语句集合 | ✗ |
时序数据库
KaiwuDB
源端
| 参数名 | 说明 | 是否必填 |
|---|---|---|
table | 需要同步的表名 | ✓ |
column | 表列名（逗号分隔字符串） | ✗ |
where | 自定义WHERE过滤条件 | ✗ |
beginDateTime | 自定义开始时间过滤条件 | ✓ |
endDateTime | 自定义结束时间过滤条件 | ✓ |
splitIntervalS | 表数据切分时间间隔（单位：秒） | ✗ |
tsColumn | 查询时的时间列名称 | ✓ |
querySql | 自定义查询SQL语句集合 | ✗ |
目标端
| 参数名 | 说明 | 是否必填 |
|---|---|---|
table | 目标写入表名 | ✓ |
column | 目标表列名（逗号分隔字符串） | ✗ |
writeMode | 写入模式（INSERT/UPSERT，默认：INSERT） | ✗ |
preSql | 写入前要执行的语句 | ✗ |
postSql | 写入后要执行的语句 | ✗ |
TDengine
| 参数名 | 说明 | 是否必填 |
|---|---|---|
table | 需要同步的表名 | ✓ |
column | 表列名（逗号分隔字符串） | ✗ |
where | 自定义where过滤条件 | ✗ |
beginDateTime | 自定义开始时间过滤条件 | ✗ |
endDateTime | 自定义结束时间过滤条件 | ✗ |
querySql | 自定义查询SQL语句集合 | ✗ |
mandatoryEncoding | TDengine中字符集类型 | ✗ |
InfluxDB
| 参数名 | 说明 | 是否必填 |
|---|---|---|
measurement | 需要同步的measurement名称 | ✓ |
column | 表列名（逗号分隔字符串） | ✗ |
splitIntervalS | 表数据切分时间间隔（单位：秒） | ✓ |
beginDateTime | 开始时间（格式：yyyy-MM-dd HH:mm:ss） | ✓ |
endDateTime | 结束时间（格式：yyyy-MM-dd HH:mm:ss） | ✓ |
readTimeout | 读取数据超时时间 | ✗ |
connectTimeout | 建立连接超时时间 | ✗ |
OpenTSDB
| 参数名 | 说明 | 是否必填 |
|---|---|---|
column | 需要迁移的 Metric 列表 | ✓ |
beginDateTime | 开始时间（格式：yyyy-MM-dd HH:mm:ss） | ✓ |
endDateTime | 结束时间（格式：yyyy-MM-dd HH:mm:ss） | ✓ |
文件存储和 NoSQL 数据库
FTP
| 参数名 | 说明 | 是否必填 |
|---|---|---|
protocol | FTP 服务器协议（ftp/sftp） | ✓ |
timeout | 连接超时时间（单位：毫秒） | ✗ |
connectPattern | 连接模式（PORT/PASV，默认：PASV） | ✗ |
path | 远程FTP文件系统路径（支持多个） | ✓ |
fieldDelimiter | 字段分隔符（默认：,） | ✓ |
compress | 文本压缩类型（zip/gzip/bzip2），默认不填写表示不压缩 | ✗ |
encoding | 文件编码（默认：utf-8） | ✗ |
nullFormat | null 值定义格式 | ✗ |
column | 读取字段列表，type 指定源数据的类型，index 指定当前列来自于文本第几列(以 0 开始)，value 指定当前类型为常量，type 必须填写，配置为 JSON 字符串 | ✓ |
skipHeader | 是否跳过表头（默认：false） | ✗ |
maxTraversalLevel | 最大文件夹遍历层数 | ✗ |
csvReaderConfig | CSV 文件参数配置（Map类型） | ✗ |
HDFS
| 参数名 | 说明 | 是否必填 |
|---|---|---|
path | HDFS 文件路径（支持多个） | ✓ |
fileType | 文件类型（text/orc/rc/seq/csv） | ✓ |
column | 读取字段列表，type 指定源数据的类型，index 指定当前列来自于文本第几列(以 0 开始)，value 指定当前类型为常量，type 必须填写，配置为 JSON 字符串 | ✓ |
fieldDelimiter | 字段分隔符（默认：,） | ✗ |
encoding | 文件编码（默认：utf-8） | ✗ |
compress | 文件压缩方式（gzip/bz2/zip/lzo/lzo_deflate/hadoop-snappy/framing-snappy） | ✗ |
haveKerberos | 是否有Kerberos 认证（默认：false） | ✗ |
kerberosPrincipal | Kerberos 认证 Principal 名 | ✗* |
kerberosKeytabFilePath | Kerberos 认证 keytab 文件路径 | ✗ |
hadoopConfig | Hadoop 相关高级参数 | ✗ |
nullFormat | null 值定义格式 | ✗ |
csvReaderConfig | CSV 文件参数配置（Map 类型） | ✗ |
MongoDB
| 参数名 | 说明 | 是否必填 |
|---|---|---|
collectionName | 需要同步的 collection 名称 | ✓ |
column | 表列名（JSON 字符串） | ✗ |
query | MongoDB 查询条件 | ✗ |