Skip to content

关系型数据库到Doris同步(全量)

说明

用于将 关系型数据库 的数据同步到 Doris。可以将来源库的多个表或者全部表(整库)的数据同步到 Doris 的目标库、表。

提示:

Doris 目标表不存在时,需要手工提前创建表。

配置项说明

配置项是否必填默认值描述
选择数据源(来源)-来源数据的数据源名称,该选项是已经在项目配置中添加过的数据源。
选择库(来源)-来源数据源中的数据库名称。选择来源数据源后自动读取并显示数据库名称,可以直接选择。
选择数据源(目标)-目标数据的数据源名称,该选项是已经在项目配置中添加过的数据源。
选择库(目标)-目标数据源中的数据库名称。选择目标数据源后自动读取并显示数据库名称,可以直接选择。
获取表信息-如果数据库表发生变化,点击此按钮获取最新的表字段。添加表的弹窗会显示最新的表名称。
前缀/后缀-给目标表名称添加前缀或者后缀,用于批量修改目标表的名称。
同步同步是否执行同步的开关,有两个选项:同步、不同步。
同步:表示执行,来源表数据会同步到目标表;
不同步:表示不执行,来源表数据不会同步到目标表。
目标表参数格式:JSON
更新模式:Upsert
有五个参数:格式、更新模式、Stream Load。
最大缓存记录:默认单位行,当数据达到配置行数时,刷新到Doris数据库
最大缓存大小:默认单位MB,当数据达到缓存时,刷新到Doris数据库
数据库格式:CSV、JSON。
更新模式:UPSERT用于插入或更新数据。如果数据已存在(基于主键/唯一键),它将更新该数据;如果数据不存在,它将插入新数据。 DELETE用于删除符合条件的数据记录。需要指定删除的条件,满足该条件的所有记录都将被删除。
Stream Load:其他更多的扩展参数。
数据添加模式同步前删除数据支持三种模式:
1、追加数据:数据统一追加到目标表中;
2、同步前删除数据:先清空目标表数据,然后再给目标表添加数据;
3、当存在数据时,报告错误:当目标表存在相同数据时,报告错误,不会添加数据。如果添加了两张表(或多表),若一张目标表有数据,一张目标表无数据,则运行结果会报告错误,两张目标表都不会添加数据。
提示:全量同步的默认值都是:同步前删除数据。

FAQ