PrimetonDWS

Appearance

操作指南/数据开发/项目开发/数据同步作业开发/数据源/关系型数据库/关系型数据库组件使用说明

关系型数据库组件使用说明 ​

组件说明 ​

关系型数据库 JDBC Source 连接器。通过 JDBC 读取各类关系型数据库数据。

窗口左上角有角标「MT」表示可以选择多表，MT：Multi Tables。支持在开发作业时选择多个需要同步的表。

配置项说明 ​

配置名称数据类型是否必填默认值描述
节点名称String是关系型数据库当前创建的节点名称，由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
节点编码String是自动生成当前创建的节点编码，以此标识此组件，由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
选择数据源String是-从下拉选项中选择列出的当前项目已经关联的数据源。
获取表方式String是-单表：表示只能选择一张表；
多表：表示可以选择多张表/视图。

选择「单表」时有两种方式：
1、通过库表生成SQL：可以选择输入数据库名称、表名称；
2、自定义SQL：可以自己编写 SQL 语句，比如：视图，select * from dws_source_dev.view_empinfo

选择「多表」时，直接选择库、表/视图。
选择库String是-选择当前数据源中的一个数据库名称。
选择表/视图String是-选择所选数据库中的表、视图。
每次获取行数Int否0每次拉取的行数，0表示使用JDBC默认值。
它通过平衡网络往返次数与客户端内存占用来优化查询性能，尤其在处理大数据量时至关重要。
0表示使用jdbc默认值。
值越大，单次网络传输越多，往返更少、吞吐更高，但客户端内存占用更大。
值越小，往返更频繁，网络与开销占比上升，内存占用更小。
分区列名称String否-并行读取时的分割列（必须为数值/日期类型）。
分区列扫描的最大值IntNo0有如果不设置，SeaTunnel 将查询数据库获取最大值。
分区列扫描的最小值Int是0如果不设置，SeaTunnel 将查询数据库获取最小值。
分区数Int否0并行读取的分片数量，默认等于作业并行度。
连接超时时间Int是30连接超时时间，单位为：秒。
可选参数-否-用户可以根据需求进行其他参数的配置。有两种方式：
1、Key、Value 方式；
2、手工编辑 Json 内容。

注意

若未设置分区列名称(partition_column)，任务将以单并发运行；若设置了该字段，则会按分片并行读取。

疑难排查要点 ​

  1. 连接超时：

尽量使用 127.0.0.1 而非 localhost（某些环境解析差异）。

URL中必须包含 serverTimezone 参数（如 GMT%2b8 或 Asia/Shanghai）。

  1. 中文乱码：

添加URL参数 characterEncoding=utf-8；若源库字符集非UTF8（如Oracle的ASCII），需定制开发转码逻辑。

  1. 数据类型不支持：

若遇 UNSUPPORTED_DATA_TYPE 异常，说明SeaTunnel内置类型映射未覆盖该字段类型，需扩展 TypeConverter。

FAQ ​