# PDI-MySQL到主数据增量同步示例
本示例主要介绍 Primeton DI 处理引擎下,使用 MySQL 到 主数据 增量同步进行单表数据同步场景。
主要步骤如下:
# 准备数据
1、创建 MySQL 数据库 example,在数据库 example 中创建一个表 fr_model01_origin。
CREATE TABLE `fr_model01_origin` (
`FIELDNUM` decimal(32,0) DEFAULT NULL COMMENT 'fieldNum',
`FIELDDATE` date DEFAULT NULL COMMENT 'fieldDate',
`FIELDSTR` varchar(32) DEFAULT NULL COMMENT 'fieldStr',
`FIELDTIME` datetime DEFAULT NULL COMMENT 'field04Time',
`ANE` varchar(32) DEFAULT NULL COMMENT 'ane',
`WDE` varchar(32) DEFAULT NULL COMMENT 'WDE'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;
INSERT INTO example.fr_model01_origin
(FIELDNUM, FIELDDATE, FIELDSTR, FIELDTIME, ANE, WDE)
VALUES(1, '2024-10-15', 'bbb', '2024-10-15 15:21:06', NULL, NULL);
INSERT INTO example.fr_model01_origin
(FIELDNUM, FIELDDATE, FIELDSTR, FIELDTIME, ANE, WDE)
VALUES(0, '2024-10-17', 'aaa', '2024-10-15 15:01:54', NULL, NULL);
INSERT INTO example.fr_model01_origin
(FIELDNUM, FIELDDATE, FIELDSTR, FIELDTIME, ANE, WDE)
VALUES(0, '2024-10-07', '是的冯绍峰', '2024-10-16 00:00:00', NULL, NULL);
INSERT INTO example.fr_model01_origin
(FIELDNUM, FIELDDATE, FIELDSTR, FIELDTIME, ANE, WDE)
VALUES(2, '2025-01-12', 'ccc', '2025-01-13 00:15:10', 'ccc', 'ccc');
INSERT INTO example.fr_model01_origin
(FIELDNUM, FIELDDATE, FIELDSTR, FIELDTIME, ANE, WDE)
VALUES(3, '2025-01-12', 'ddd', '2025-01-13 00:15:46', 'ddd', 'ddd');
INSERT INTO example.fr_model01_origin
(FIELDNUM, FIELDDATE, FIELDSTR, FIELDTIME, ANE, WDE)
VALUES(5, '2025-01-12', '测试', '2025-02-11 00:15:46', 'aaa', 'aaa');
2、在【应用中心】>【业务组件】>【业务字段】菜单中,配置“DWS_MDM_SYNC”类型字典。
字典项编号 | 字段名称 | 字段描述 |
---|---|---|
DWS_MDM_QUERY_MODEL | http://127.0.0.1:8090/api/mdm/data-cleaning/model-info/page-query | 查询主数据模版地址(主数据提供) |
DWS_MDM_RECEIVE_URL | http://127.0.0.1:8090/api/mdm/data-cleaning/batch/${modelId} | 向主数据发送数据的HTTP地址 |
DWS_MDM_RECEIVE_HTTP_METHOD | POST | 向主数据发送数据的HTTP方法 |
DWS_MDM_AFC_TOKEN | c0101b6109e8478784ceb8897159fe2b | 主数据的登录token |
DWS_MDM_TARGET_DATASOURCE_ID | MDM_PUB | 主数据目标数据源编码(需配置主数据的目标数据源) |
# 新建通用模板作业
点击资源树节点上的【...】,选择弹出菜单【新建通用模板作业】,填写"模板名称",选择"模板类型",点击【确定】按钮。
# 配置来源数据源、数据库名称、库名称及主数据模型
选择来源的"数据源"、"库名称"、"表名称"以及"主数据模型"。
# 配置源表时间戳字段及目标表时间戳字段
选择来源源表时间戳字段及目标表时间戳字段。
# 配置字段映射
- 点击字段映射中的【获取字段】,可以对源表中的字段进行改名修改。
- 点击选择规则中的【获取字段】,可以对源表中的字段进行数据清洗处理。
- 配置主数据HTTP接口的请求头和请求参数。(可选配置)
# 通用配置
在通用配置中可以配置任务优先级、Worker 分组、命名参数、本地参数、超时告警。
可以参考示例关系型表数据同步示例 中的"通用配置"说明。
# 保存草稿
如果所有组件属性都已设置完毕,点击【保存】按钮,可以看到保存过的历史草稿,并可以随意切换草稿。(草稿只保存最近 10 个)
可以参考示例关系型表数据同步示例 中的"保存草稿"说明。
# 运行
点击【运行】按钮,可以运行已经开发完毕的场景,在日志栏可以看运行日志及运行结果。
# 提交版本
当草稿运行正常后,点击【提交】按钮可以将该版本提交到作业调度,每次修改提交都会生成新的版本,可以看到提交的历史版本,并可以随意切换版本。
提交后的版本,可以在作业调度中进行"定时"调度配置。
可以参考示例关系型表数据同步示例 中的"提交版本"说明。