读取Kafka主题中canal-json格式的数据同步到mysql数据库

本示例主要演示从Kafka 主题"test_canal-json_data"中读取canal_json格式的数据同步到mysql数据库表中。

主要步骤如下：

• 准备数据
• 新建同步作业
• 拖拽图元
• 运行
• 查看数据
• 提交版本

准备数据

参考示例：写入canal-json格式的数据到Kafka

新建同步作业

点击数据同步上的【...】，选择弹出菜单【新建数据同步作业】，作业名称为：kafka-canal-json2mysql。

拖拽图元

依次拖拽数据源中的Kafka Source组件和目标中的关系型数据库 Sink组件，依次连线。如下图所示：

配置组件属性

1、双击"Kafka Source"组件，根据下图所示步骤依次配置。

2、双击"关系型数据库 Sink"组件，根据下图所示步骤依次配置。

3、Ctrl+S保存该模型。

运行

点击【运行】按钮，可以运行已经开发完毕的场景，在日志栏可以看运行日志及运行结果。

查看数据

从SQL客户端中查看主题中数据已经同步到目标库dws_sink的"test_canal-json_data"表中。

目标表test_canal-json_data结果数据

提交版本

当草稿运行正常后，点击【提交】按钮可以将该版本提交到作业调度，每次修改提交都会生成新的版本，可以看到提交的历史版本，并可以随意切换版本。

提交后的版本，可以在作业调度中进行"定时"调度配置。