数据库迁移概述
DataX 是一款广泛使用的离线数据同步工具。KaiwuDB 基于 DataX 开发了数据库迁移工具 KaiwuDB DataX Utils，实现 KaiwuDB（2.0.3 及以上版本）与 MySQL、TDengine、MongoDB、InfluxDB、OpenTSDB、Oracle、PostgreSQL、ClickHouse、KaiwuDB（1.2.x）、KaiwuDB（2.x）等数据库的离线数据同步。
用户通过配置文件设置源数据库和目标数据库的连接、数据迁移等信息。KaiwuDB DataX Utils 自动校验、统计迁移数据并输出迁移报告。在迁移过程中，用户可以查看整体的数据迁移进度。
支持的迁移形式
KaiwuDB DataX Utils 支持以下数据迁移形式：
元数据迁移：无需在目标数据库创建待迁移的表，KaiwuDB DataX Utils 将自动读取源数据库的表结构信息，生成相应的建表语句，并创建符合目标数据库要求的表结构。
元数据和业务数据迁移：在迁移过程中，除了自动创建目标数据库中的表结构，KaiwuDB DataX Utils 还会将源数据库中的业务数据迁移到目标数据库中。
业务数据迁移：用户在目标数据库创建好表结构后，以单表、多表、单库和多库的形式对表内的业务数据进行迁移，其中：
- 以表的形式迁移数据时，支持全量数据迁移和增量数据迁移。
- 以库的形式迁移目前只支持将 MySQL 数据迁移到 KaiwuDB 的关系库。迁移时，源数据库与目标数据库必须一一对应。
下表列出了 KaiwuDB 支持迁移的异构源数据库和数据迁移方式。
| 源数据库 | 目标数据库 | 元数据 | 元数据 + 业务数据 | 业务数据 |
|---|---|---|---|---|
| MySQL | KaiwuDB 关系库 | 表、库 | 表、库 | 表、库 |
| KaiwuDB 时序库 | 表、库 | 表 | 表 | |
| PostgreSQL | KaiwuDB 关系库 | 表、库 | 表 | 表 |
| KaiwuDB 时序库 | 表、库 | 表 | 表 | |
| TDengine | KaiwuDB 时序库 | 表、库 | 表 | 表 |
| InfluxDB | KaiwuDB 时序库 | 表、库 | 表 | 表 |
| MongoDB | KaiwuDB 关系库 | - | - | 表 |
| Oracle | KaiwuDB 关系库 | - | - | 表 |
| OpenTSDB | KaiwuDB 时序库 | - | - | 表 |
| ClickHouse | KaiwuDB 关系库 | - | - | 表 |
说明
默认情况下，KaiwuDB 1.2.x 允许重复写入数据且不进行去重。KaiwuDB 2.x 对带有相同时间戳的数据整行去重，后写入的数据覆盖已存在的带有相同时间戳的数据。当将数据从 KaiwuDB 1.2.x 迁移到 KaiwuDB 2.x 时，如需保留源数据库中带有相同时间戳的数据，用户可以在目标数据库上运行 SET CLUSTER SETTING ts.dedup.rule = keep; 命令，允许写入带有相同时间戳的数据。keep 取值只适用于 KaiwuDB 2.x 单机部署模式。
数据类型映射
KaiwuDB DataX Utils 支持 DataX 的数据类型。DataX 数据类型与 KaiwuDB 数据类型的映射关系如下表所示：
| DataX 数据类型 | KaiwuDB 数据类型 |
|---|---|
| INT | TINYINT、SMALLINT、INT |
| LONG | TINYINT、SMALLINT、INT、BIGINT、TIMESTAMP、TIMESTAMPTZ |
| DOUBLE | FLOAT、REAL、DOUBLE、DECIMAL |
| BOOL | BOOL、BIT |
| DATE | DATE、TIME、TIMESTAMP、TIMESTAMPTZ |
| BYTES | BYTES、VARBYTES |
| STRING | CHAR、NCHAR、VARCHAR、NVARCHAR、TIMESTAMP、TIMESTAMPTZ |
不同数据库支持的数据类型和处理方式不同。下表列出了 KaiwuDB DataX Utils 处理以下数据库数据的方式和注意事项：
| 数据库 | 数据类型 | 注意事项 |
|---|---|---|
| ClickHouse | - 在 ClickHouse 中，NULL 值显示为 0。导入 KaiwuDB 后，NULL 值会被处理为 false。- 二进制类型数据导入 KaiwuDB 后，会以 \x+ 空字符串的形式显示。 | DataX 插件使用的 JDBC 驱动版本较低，不支持毫秒级精度的时间读取，可能导致错误删除数据。建议先升级 DataX 插件的 JDBC 驱动版本。解决升级导致的问题后，再进行数据迁移。 |
| MongoDB | - 不支持迁移 MongoDB 数据库的 _id 列。 | DataX 自带的 Reader 插件不支持 MongoDB 7。 |
| OpenTSDB | - OpenTSDB 是键值对类型的数据库。因此，在读取数据时，数据以键值对的形式呈现。 - KaiwuDBWriter 支持修改读取的 OpenTSDB metric，将 metric 中的句点（ .） 转化为下划线 （_），然后将该 metric 作为 KaiwuDB 数据库的表名。- 每张表包括 k_timestamp 和 value 两列。- 如果待写入的表不存在，支持自动创建表。 | - |
| TDengine | - 在 TDengine 中，如果 BOOL 类型的字段值显示为 null，导入 KaiwuDB 后，BOOL 类型的字段值会被处理为 false。- 在 TDengine 中，如果 NCHAR 类型的字段值显示为 null，导入 KaiwuDB 后，NCHAR 类型的字段值会以空字符串的形式显示。- TDengineReader 不支持读取 JSON 数据。如果数据表的标签列采用 JSON 格式，需要将其转为其他类型，否则会导致迁移失败。 | - 从 TDengine 2.4.0.14 及以下版本向 KaiwuDB 迁移数据时，需要使用 TDengine 提供的 TDengine20Reader 插件。 - 从 TDengine 3.0.0 及以上版本向 KaiwuDB 迁移数据时，需要使用 TDengine 提供的 TDengine30Reader 插件。 |