配置数据迁移

环境要求

系统环境

操作系统：Windows / Linux
Java 版本：JRE 1.8+（推荐 1.8）
数据库状态：源数据库和目标数据库已安装并正常运行
用户权限：用户拥有源数据库和目标数据库的相关操作权限，包括：
- 数据库的创建权限
- 表数据的读取权限
- 表数据的写入权限

安装包

KDTS 提供跨平台支持，针对不同操作系统提供相应的安装包格式：

Windows：KaiwuDB_Data_Transformer-x.x.x-win-x86_64.zip
Linux：KaiwuDB_Data_Transformer-x.x.x-linux-x86_64.tar.gz

启动工具

解压缩 KaiwuDB 数据迁移工具安装包，进入安装包目录。

（可选）打开 KaiwuDBDataTransformer.ini 文件，根据需要配置工作区数据目录和 JVM 参数（其余参数暂不支持修改）。

...
-data  ; 指定工具工作区数据目录
data
...
-vmargs  ; 指定 JVM 启动参数
-XX:+IgnoreUnrecognizedVMOptions
--add-modules=ALL-SYSTEM
-Xms64m
-Xmx1024m
-Dproject.debug.log.enable=false

启动工具：
- Windows：双击运行 KaiwuDB Data Transformer.exe。
- Linux：双击运行 KaiwuDB Data Transformer 或在命令行执行 ./KaiwuDB\ Data\ Transformer。

迁移配置流程

使用 KDTS 进行数据迁移需要按以下流程操作：

创建工程：在数据迁移导航窗口中创建新工程，用于组织和管理迁移任务。
创建迁移任务：在工程目录下创建具体的迁移任务，每个任务对应一次数据迁移操作。
配置迁移任务：
- 选择迁移方式（仅结构、仅数据或结构+数据）
- 配置源端和目的端数据库连接信息
- 设置迁移选项（自动执行、迁移约束、索引、视图等）
- 选择迁移对象（整库或多表）
- 配置映射关系和迁移策略（多表迁移）
执行迁移：检查配置信息无误后，执行迁移任务并监控进度。

提示

在正式迁移生产数据前，建议先使用测试数据验证迁移配置的正确性。

工程管理

创建工程

在左侧的数据迁移导航窗口中，右键单击空白区域或已建工程，选择创建 > 工程。
在新建工程窗口中，输入工程名称，根据需要设置工程描述，然后单击确定。系统将自动创建对应的工程目录。

删除工程

在数据迁移导航窗口中，右键单击待删除的工程，选择删除。
在删除对象窗口中，单击是确认删除。

重命名工程

在数据迁移导航窗口中，右键单击待重命名的工程，选择重命名。
在重命名工程窗口中，输入工程的新名称，然后单击确定。

迁移任务管理

创建迁移任务

在数据迁移导航窗口中，展开新建的工程目录，右键单击下方的迁移目录，依次选择创建 > 迁移。
在新建迁移任务窗口，输入迁移任务名称，根据需要填写迁移描述，然后单击确定。系统将自动跳转至新建迁移任务的主页。

复制粘贴迁移任务

在数据迁移导航窗口中，展开工程目录和迁移目录。
右键单击待复制的迁移任务，选择复制。
在数据迁移导航窗口中，右键单击任意位置，选择粘贴，系统将自动创建该任务的副本。

删除迁移任务

在数据迁移导航窗口中，展开工程目录和迁移目录。
右键单击待删除的迁移任务，选择删除。
在删除对象窗口中，单击是确认删除。

重命名迁移任务

在数据迁移导航窗口中，展开工程目录和迁移目录。
右键单击待重命名的迁移任务，选择重命名。
在重命名迁移任务窗口中，输入迁移任务的新名称，然后单击确定。

配置迁移任务

结构化数据

以下步骤以 MySQL 到 KaiwuDB 的数据迁移为例，说明如何进行结构化数据迁移：

在数据迁移导航窗口，双击待打开的迁移任务，或右键单击待配置的迁移任务，选择打开。
在迁移任务配置窗口，单击下一步。
在迁移方式页面，设置迁移方式和数据源：
- 迁移方式：支持选择仅结构、仅数据、以及结构+数据三种迁移方式
- 数据源：选择要迁移的源端数据库以及目的引擎类型，默认为时序引擎
  说明
  目前只支持以下结构或结构+数据迁移：
  - MySQL、Oracle 或 PostgreSQL 迁移到 KaiwuDB 关系和时序引擎
  - TDengine 或 InfluxDB 迁移到 KaiwuDB 时序引擎
在源端信息页，选择主机或 URL 连接模式，配置相应的连接参数信息。系统会自动校验连接信息，校验成功后方可进行下一步。
在目的信息页，选择主机或 URL 连接模式，配置相应的连接参数信息。系统会自动校验连接信息，校验成功后方可进行下一步。
在迁移选项页，根据需要设置结构迁移和数据迁移的参数信息。
参数说明
- 自动执行：控制是否自动在目标数据库中执行 DDL 建表语句
  - 选中：自动在 KaiwuDB 数据库中创建表结构
  - 取消选中：需手动执行建表脚本（脚本位于 kdts/data/sql_scripts 目录）
- 迁移约束：控制是否迁移表约束。注意：目前暂不支持迁移默认约束
- 迁移视图：控制是否迁移视图。注意：目前仅支持 MySQL 视图迁移
- 通道速度：控制数据传输速率，单位为字节/秒，默认值 1048576（1 MB/s）
在选择对象页，选择整库迁移或多表迁移：
- 整库迁移
  说明
  整库迁移仅支持 MySQL、Oracle、PostgreSQL 到 KaiwuDB 关系引擎的迁移。
  1. 在源端选择待迁移的数据库。
  2. 在目的端选择目标数据库，然后单击下一步。
- 多表迁移
  1. 在源端选择待迁移的数据库。
  2. 在目的端选择目标数据库。
  3. 勾选待迁移的数据表，然后单击对应的设置。
  4. 在设置映射关系页面，根据需要选择待迁移的列。如果需要迁移到时序引擎，设置目标表的时间戳列、标签列和主标签，然后单击下一步。
  5. 在迁移策略页面，根据需要设置过滤条件、查询 SQL 语句、切分主键、写入模式、写入前后要执行的 SQL 语句，然后单击确认。
    提示
    不同数据源支持配置的参数有所不同。每个数据源支持的具体配置参数，参见迁移策略配置参数。
  6. 在选择对象页，单击下一步。
在检查确认页面，检查参数配置信息。确认配置无误后，单击执行按钮开始执行迁移。
在任务进度页查看迁移进度，等待迁移完成。

非结构化数据

以下步骤以 FTP 到 KaiwuDB 的数据迁移为例，说明如何进行非结构化数据迁移：

在数据迁移导航窗口，双击待打开的迁移任务，或右键单击待配置的迁移任务，选择打开。
在迁移任务配置窗口，单击下一步。
在迁移方式页面，选择数据迁移方式，设置数据源为 FTP，选择迁移到时序引擎或关系引擎，然后单击下一步。
在源端信息页，配置 FTP 服务器的连接参数信息，包括主机地址、端口、用户名、密码等。系统会自动校验连接信息，校验成功后方可进行下一步。
在目的信息页，选择主机或 URL 连接模式，配置 KaiwuDB 数据库的连接参数信息。系统会自动校验连接信息，校验成功后方可进行下一步。
在迁移选项页，根据需要设置数据迁移的参数信息，包括通道速度等。
在选择对象页，选择整库或多表迁移，其中时序引擎只支持多表迁移。以下以多表迁移为例说明如何进行迁移：
1. 在源端填写待迁移的文件路径或数据库名。
2. 在目的端填写目标数据库名。
3. 单击添加，填写待迁移的表对象，单击设置。
4. 在设置映射关系页面，配置源端文件字段和目的端表字段的映射关系，然后单击下一步。
5. 在迁移策略页面，根据需要设置编码配置、NULL 字符串等信息，然后单击确认。
6. 在选择对象页面，单击下一步。
在检查确认页面，检查参数配置信息。确认配置无误后，单击执行按钮开始执行迁移。
在任务进度页查看迁移进度，等待迁移完成。