参考信息

数据类型映射

MySQL 到 KaiwuDB

MySQL	关系引擎	时序引擎
BOOLEAN	BOOL	BOOL
TINYINT(1)	BOOL	BOOL
TINYINT	INT2	INT2
SMALLINT	INT2	INT2
INT	INT4	INT4
MEDIUMINT	INT4	INT4
TINYINT UNSIGNED	INT2	INT2
SMALLINT UNSIGNED	INT4	INT4
MEDIUMINT UNSIGNED	INT4	INT4
INT UNSIGNED	INT8	INT8
BIGINT UNSIGNED	NUMERIC(20)	INT8
BIGINT	INT8	INT8
DECIMAL	DECIMAL	FLOAT8
DOUBLE	FLOAT8	FLOAT8
FLOAT	FLOAT4	FLOAT4
DATE	TIMESTAMP	TIMESTAMP
DATETIME	TIMESTAMP	TIMESTAMP
TIMESTAMP	TIMESTAMP	TIMESTAMP
TIME	TIME	TIMESTAMP
CHAR	CHAR	CHAR
VARCHAR	VARCHAR	VARCHAR
BINARY	BYTEA	VARBYTES
VARBINARY	VARBYTES	VARBYTES
LONG VARBINARY	VARBYTES	VARBYTES
BLOB	BYTES	VARBYTES
MEDIUMBLOB	BYTES	VARBYTES
LONGTEXT	TEXT	NVARCHAR
JSON	JSON	NVARCHAR

PostgreSQL 到 KaiwuDB

PostgreSQL	关系引擎	时序引擎
BIT	BIT	BOOL
BOOL	BOOL	BOOL
INT2	INT2	INT2
INT4	INT4	INT4
INT8	INT8	INT8
DECIMAL	DECIMAL	FLOAT8
NUMERIC	NUMERIC	FLOAT8
MONEY	DECIMAL	FLOAT8
FLOAT8	FLOAT8	FLOAT8
FLOAT4	FLOAT4	FLOAT4
DATE	DATE	TIMESTAMP
TIMESTAMP	TIMESTAMP	TIMESTAMP
TIMESTAMP	TIMESTAMP	TIMESTAMP
TIMESTAMPTZ	TIMESTAMPTZ	TIMESTAMPTZ
TIME	TIME	TIMESTAMP
TIMETZ	TIMETZ	TIMESTAMPTZ
BPCHAR, CHAR	CHAR	CHAR
VARCHAR	VARCHAR	VARCHAR
BYTEA	BYTES	VARBYTES
BLOB	BYTES	VARBYTES
VARBIT	VARBIT	VARCHAR
TEXT	TEXT	NVARCHAR
JSON	JSON	NVARCHAR
JSONB	JSONB	NVARCHAR
UUID	UUID	VARCHAR
UNKNOWN	UNKNOWN	VARCHAR

Oracle 到 KaiwuDB

Oracle	关系引擎	时序引擎
ROWID	INT4	INT4
BOOLEAN	BOOL	BOOL
NUMBER(5,0)	INT2	INT2
NUMBER(5)	INT2	INT2
NUMBER(10,0)	INT4	INT4
NUMBER(10)	INT4	INT4
NUMBER(19,0)	INT8	INT8
NUMBER(19)	INT8	INT8
NUMBER	FLOAT4	FLOAT4
FLOAT	FLOAT4	FLOAT4
BINARY_FLOAT	FLOAT4	FLOAT4
BINARY_DOUBLE	FLOAT8	FLOAT8
CHAR	CHAR	CHAR
VARCHAR2	VARCHAR	VARCHAR
NCHAR	TEXT	NCHAR
NVARCHAR2	TEXT	NVARCHAR
BLOB	BYTES	VARBYTES
CLOB	TEXT	NVARCHAR
RAW	BYTES	VARBYTES
DATE	TIMESTAMP	TIMESTAMP
TIMESTAMP	TIMESTAMP	TIMESTAMP
TIMESTAMP(3)	TIMESTAMP	TIMESTAMP
TIMESTAMP(6)	TIMESTAMP	TIMESTAMP

TDengine 到 KaiwuDB

TDengine	时序引擎
BOOL	BOOL
TINYINT	INT2
SMALLINT	INT2
INT	INT4
BIGINT	INT8
DOUBLE	FLOAT8
FLOAT	FLOAT4
NCHAR	NCHAR
VARCHAR	VARCHAR
BINARY	VARBYTES
VARBINARY	VARBYTES
TIMESTAMP	TIMESTAMP
JSON	NVARCHAR
TINYINT UNSIGNED	INT2
SMALLINT UNSIGNED	INT4
INT UNSIGNED	INT8
BIGINT UNSIGNED	INT8

InfluxDB 到 KaiwuDB

InfluxDB	时序引擎
BOOLEAN	BOOL
INTEGER	INT4
LONG	INT8
DOUBLE	FLOAT8
FLOAT	FLOAT8
STRING	VARCHAR
TIMESTAMP	TIMESTAMP

迁移配置参数

关系数据库

ClickHouse、MySQL、Oracle、PostgreSQL、SQL Server

参数类型	参数名	说明	是否必填
源端	table	需要同步的表名	✓
	column	表列名（逗号分隔字符串）	✗
	splitPk	自定义切分主键	✗
	where	自定义WHERE过滤条件	✗
	querySql	自定义查询SQL语句集合	✗
目标端	table	目标写入表名	✓
	column	目标表列名（逗号分隔字符串）	✗
	session	SQL Server 中特有配置参数	✗
	writeMode	写入模式（INSERT/UPSERT，默认：INSERT）	✗
	preSql	写入前要执行的语句	✗
	postSql	写入后要执行的语句	✗

时序数据库

KaiwuDB

参数类型	参数名	说明	是否必填
源端	table	需要同步的表名	✓
	column	表列名（逗号分隔字符串）	✗
	where	自定义WHERE过滤条件	✗
	beginDateTime	自定义开始时间过滤条件	✓
	endDateTime	自定义结束时间过滤条件	✓
	splitIntervalS	表数据切分时间间隔（单位：秒）	✗
	tsColumn	查询时的时间列名称	✓
	querySql	自定义查询SQL语句集合	✗
目标端	table	目标写入表名	✓
	column	目标表列名（逗号分隔字符串）	✗
	writeMode	写入模式（INSERT/UPSERT，默认：INSERT）	✗
	preSql	写入前要执行的语句	✗
	postSql	写入后要执行的语句	✗

TDengine

参数类型	参数名	说明	是否必填
源端	table	需要同步的表名	✓
	column	表列名（逗号分隔字符串）	✗
	where	自定义where过滤条件	✗
	beginDateTime	自定义开始时间过滤条件	✗
	endDateTime	自定义结束时间过滤条件	✗
	querySql	自定义查询SQL语句集合	✗
	mandatoryEncoding	TDengine中字符集类型	✗
目标端	table	目标写入表名	✓
	column	目标表列名（逗号分隔字符串）	✗
	ignoreTagsUnmatched	TDengine 特有的配置参数	✗
	preSql	写入前要执行的语句	✗
	postSql	写入后要执行的语句	✗

InfluxDB

参数类型	参数名	说明	是否必填
源端	measurement	需要同步的measurement名称	✓
	column	表列名（逗号分隔字符串）	✗
	splitIntervalS	表数据切分时间间隔（单位：秒）	✓
	beginDateTime	开始时间（格式：yyyy-MM-dd HH:mm:ss）	✓
	endDateTime	结束时间（格式：yyyy-MM-dd HH:mm:ss）	✓
	readTimeout	读取数据超时时间	✗
	connectTimeout	建立连接超时时间	✗

OpenTSDB

参数类型	参数名	说明	是否必填
源端	column	需要迁移的 Metric 列表	✓
	beginDateTime	开始时间（格式：yyyy-MM-dd HH:mm:ss）	✓
	endDateTime	结束时间（格式：yyyy-MM-dd HH:mm:ss）	✓

文件存储和 NoSQL 数据库

FTP

参数类型	参数名	说明	是否必填
源端	protocol	FTP 服务器协议（ftp/sftp）	✓
	timeout	连接超时时间（单位：毫秒）	✗
	connectPattern	连接模式（PORT/PASV，默认：PASV）	✗
	path	远程FTP文件系统路径（支持多个）	✓
	fieldDelimiter	字段分隔符（默认：,）	✓
	compress	文本压缩类型（zip/gzip/bzip2），默认不填写表示不压缩	✗
	encoding	文件编码（默认：utf-8）	✗
	nullFormat	null 值定义格式	✗
	column	读取字段列表，type 指定源数据的类型，index 指定当前列来自于文本第几列(以 0 开始)，value 指定当前类型为常量，type 必须填写，配置为 JSON 字符串	✓
	skipHeader	是否跳过表头（默认：false）	✗
	maxTraversalLevel	最大文件夹遍历层数	✗
	csvReaderConfig	CSV 文件参数配置（Map类型）	✗
目标端	protocol	FTP 服务器协议（ftp/sftp）	✓
	timeout	连接超时时间（单位：毫秒）	✗
	path	FTP 文件系统路径	✓
	fieldDelimiter	字段分隔符（默认：,）	✓
	compress	文本压缩类型（暂不支持）	✗
	encoding	文件编码（默认：utf-8）	✗
	nullFormat	null 值定义格式	✗
	fileName	写入文件名	✓
	writeMode	写入模式（append/nonConflict/truncate）	✓
	dateFormat	日期格式序列化格式	✗
	fileFormat	文件格式（csv/text）	✗
	suffix	输出文件后缀（.text/.csv）	✗
	header	txt 写出时的表头	✗

HDFS

参数类型	参数名	说明	是否必填
源端	path	HDFS 文件路径（支持多个）	✓
	fileType	文件类型（text/orc/rc/seq/csv）	✓
	column	读取字段列表，type 指定源数据的类型，index 指定当前列来自于文本第几列(以 0 开始)，value 指定当前类型为常量，type 必须填写，配置为 JSON 字符串	✓
	fieldDelimiter	字段分隔符（默认：,）	✗
	encoding	文件编码（默认：utf-8）	✗
	compress	文件压缩方式（gzip/bz2/zip/lzo/lzo_deflate/hadoop-snappy/framing-snappy）	✗
	haveKerberos	是否有Kerberos 认证（默认：false）	✗
	kerberosPrincipal	Kerberos 认证 Principal 名	✗*
	kerberosKeytabFilePath	Kerberos 认证 keytab 文件路径	✗
	hadoopConfig	Hadoop 相关高级参数	✗
	nullFormat	null 值定义格式	✗
	csvReaderConfig	CSV 文件参数配置（Map 类型）	✗
目标端	path	HDFS 文件路径	✓
	fileType	文件类型（text/orc）	✓
	column	写入字段列表, 不支持对部分列写入，指定表中所有字段名和字段类型，配置为 JSON 字符串	✓
	fieldDelimiter	字段分隔符	✓
	encoding	文件编码（默认：utf-8）	✗
	compress	文件压缩类型，默认不填写表示不压缩	✗
	haveKerberos	是否有Kerberos认证（默认：false）	✗
	kerberosPrincipal	Kerberos 认证 Principal 名	✗*
	kerberosKeytabFilePath	Kerberos 认证 keytab 文件路径	✗
	hadoopConfig	Hadoop 相关高级参数	✗
	fileName	写入文件名	✗
	writeMode	写入模式（append/nonConflict/truncate）	✓

MongoDB

参数类型	参数名	说明	是否必填
源端	collectionName	需要同步的 collection 名称	✓
	column	表列名（JSON 字符串）	✗
	query	MongoDB 查询条件	✗
目标端	collectionName	目标写入 collection 名称	✓
	column	目标列名（JSON 字符串）	✗
	writeMode	写入模式（isReplace、replaceKey 等）	✗

ElasticSearch

参数类型	参数名	说明	是否必填
目标端	index	ElasticSearch 中的 index 名	✓
	type	ElasticSearch 中 index 的 type 名	✗
	column	ElasticSearch 支持的字段类型	✓
	cleanup	是否删除原表（默认：false）	✗
	trySize	失败后重试次数	✗
	timeout	客户端超时时间	✗
	discovery	启用节点发现（默认：false）	✗
	compression	HTTP 请求开启压缩（默认：true）	✗
	multiThread	HTTP 请求多线程（默认：true）	✗
	ignoreWriteError	忽略写入错误（默认：false）	✗
	ignoreParseError	忽略解析错误（默认：true）	✗
	alias	数据导入完成后写入别名	✗
	aliasMode	别名模式（append/exclusive，默认：append）	✗
	settings	创建 index 时的设置	✗
	splitter	array 数据分隔符	✗
	dynamic	使用 ElasticSearch 自己的 mappings（默认：false）	✗