时间戳StarRocks到关系型数据库增量同步（增量）

说明

用于基于时间戳的 StarRocks 到关系型数据库的增量同步，其原理是以目标表的某个字段当做时间戳查询字段，查询该时间戳查询字段的最大值，再查出源表中大于这个最大值的所有数据，从而在目标表进行 Insert 操作。

提示:

通用模板作业在执行过程中，当关系型数据库目标表不存在时，会自动创建表，然后再将源表数据同步至目标表。

配置项说明

配置项	是否必填	默认值	描述
选择数据源（来源）	是	-	来源数据的数据源名称，该选项是已经在项目配置中添加过的数据源。
选择库（来源）	是	-	来源数据源中的数据库名称。选择来源数据源后自动读取并显示数据库名称，可以直接选择。
选择数据源（目标）	是	-	目标数据的数据源名称，该选项是已经在项目配置中添加过的数据源。
选择库（目标）	是	-	目标数据源中的数据库名称。选择目标数据源后自动读取并显示数据库名称，可以直接选择。
获取表信息	否	-	如果数据库表发生变化，点击此按钮获取最新的表字段。添加表的弹窗会显示最新的表名称。
前缀/后缀	否	-	给目标表名称添加前缀或者后缀，用于批量修改目标表的名称。
同步	是	同步	是否执行同步的开关，有两个选项：同步、不同步。同步：表示执行，来源表数据会同步到目标表；不同步：表示不执行，来源表数据不会同步到目标表。
字段映射	是	-	指定来源表与目标表的字段映射关系、目标表中的时间戳字段、目标表中的查询字段。配置后“未配置”会变为“已配置”。字段映射关系：来源表与目标表的字段名称映射；目标表中的时间戳字段：选择时间戳字段；目标表中的查询字段：行唯一标识字段。参见：字段映射配置项说明
表添加模式	是	表不存在时创建	支持四种模式： 1、重新创建表； 2、表不存在时创建表； 3、表不存在时，报告错误； 4、忽略对表的处理。
数据添加模式	是	追加数据	支持三种模式： 1、追加数据：数据统一追加到目标表中； 2、同步前删除数据：先清空目标表数据，然后再给目标表添加数据； 3、当存在数据时，报告错误：当目标表存在相同数据时，报告错误，不会添加数据。提示：增量同步的默认值都是：追加数据。
大小写转换模式	是	不转换	支持三种模式： 1、不转换：对目标表及字段不做任何转换操作； 2、转大写：将目标表及字段都转换为大写； 3、转小写：将目标表及字段转换为小写。提示：默认值都是：不转换。
忽略错误继续执行	是	不勾选	当添加了多张表时：勾选：表示在数据同步过程中当一张表出现错误时忽略该表错误继续执行其他表的同步。不勾选：表示遇到错误时停止后续全部表的同步。

字段映射配置项说明

操作/配置项	是否必填	默认值	描述
手动映射	-	-	需要逐个选择来源表与目标表的字段配置字段映射关系。
自动同名映射	-	-	当来源表字段与目标表字段同名时，自动批量配置映射关系。
重置映射	-	-	清除已经配置好的来源表与目标表的映射关系。
源表字段	-	-	指定来源表中的时间戳字段，需要和目标表的时间戳字段配合使用。
目标表字段	-	-	指定目标源表中的时间戳字段，需要和来源表的时间戳字段配合使用。

FAQ

无