Skip to content

关系型数据库到StarRocks同步(全量)

说明

用于将关系型数据库的数据迁移到 StarRocks。可以将来源库的多个表或者全部表(整库)的数据迁移到 StarRocks 的目标库、表。

提示:

StarRocks 目标表不存在时,需要手工提前创建表。

配置项说明

配置项是否必填默认值描述
选择数据源(来源)-来源数据的数据源名称,该选项是已经在项目配置中添加过的数据源。
选择库(来源)-来源数据源中的数据库名称。选择来源数据源后自动读取并显示数据库名称,可以直接选择。
选择数据源(目标)-目标数据的数据源名称,该选项是已经在项目配置中添加过的数据源。
选择库(目标)-目标数据源中的数据库名称。选择目标数据源后自动读取并显示数据库名称,可以直接选择。
获取表信息-如果数据库表发生变化,点击此按钮获取最新的表字段。添加表的弹窗会显示最新的表名称。
前缀/后缀-给目标表名称添加前缀或者后缀,用于批量修改目标表的名称。
同步同步是否执行同步的开关,有两个选项:同步、不同步。
同步:表示执行,来源表数据会同步到目标表;
不同步:表示不执行,来源表数据不会同步到目标表。
目标表参数格式:JSON
更新模式:Upsert
有四个参数:格式、更新模式、Stream Load。
最大缓存大小:默认单位MB,当数据达到缓存时,刷新到StarRocks数据库
格式:CSV、JSON。
更新模式:UPSERT用于插入或更新数据。如果数据已存在(基于主键/唯一键),它将更新该数据;如果数据不存在,它将插入新数据。 DELETE用于删除符合条件的数据记录。需要指定删除的条件,满足该条件的所有记录都将被删除。
Stream Load:其他更多的扩展参数。
数据添加模式同步前删除数据支持四种模式:
1、追加数据:数据统一追加到目标表中;
2、最大缓存大小:默认单位MB,当数据达到缓存时,刷新到Doris数据库
3、同步前删除数据:先清空目标表数据,然后再给目标表添加数据;
4、当存在数据时,报告错误:当目标表存在相同数据时,报告错误,不会添加数据。
提示:全量同步的默认值都是:同步前删除数据。
大小写转换模式不转换支持三种模式:
1、不转换:对目标表及字段不做任何转换操作;
2、转大写:将目标表及字段都转换为大写;
3、转小写:将目标表及字段转换为小写。
提示:默认值都是:不转换。
忽略错误继续执行不勾选当添加了多张表时:
勾选:表示在数据同步过程中当一张表出现错误时忽略该表错误继续执行其他表的同步。
不勾选:表示遇到错误时停止后续全部表的同步。

FAQ