普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
应用集成
FAQ
  • 关系型数据库组件使用说明
  • 组件说明
  • 配置项说明
  • FAQ

# 关系型数据库组件使用说明

  • 组件说明
  • 配置项说明
  • 使用示例
    • 关系型数据库同步Hive数据示例
    • 将Mysql的数据写入HBase中
  • FAQ

# 组件说明

关系型数据库 JDBC Source 连接器。通过 JDBC 读取各类关系型数据库数据。

# 配置项说明

配置名称 数据类型 是否必填 默认值 描述
节点名称 String 是 关系型数据库 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
节点编码 String 是 自动生成 当前创建的节点编码,以此标识此组件,由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
选择数据源 String 是 - 从下拉选项中选择列出的当前项目已经关联的数据源。
数据库读取 String 是 - 两种方式:
1、通过库表生成SQL:可以选择输入数据库名称、表名称;
2、自定义SQL:可以自己编写 SQL 语句,比如:视图,select * from dws_source_dev.view_empinfo
每次获取行数 Int 否 0 Fetch Size是数据库连接驱动(JDBC)中控制每次从数据库游标批量拉取的行数的参数。
它通过平衡网络往返次数与客户端内存占用来优化查询性能,尤其在处理大数据量时至关重要。
0表示使用jdbc默认值。
值越大,单次网络传输越多,往返更少、吞吐更高,但客户端内存占用更大。
值越小,往返更频繁,网络与开销占比上升,内存占用更小。
分区列名称 String 否 - 并行分区的列名,只支持数值类型。
分区列扫描的最大值 Int No 0 有如果不设置,SeaTunnel 将查询数据库获取最大值。
分区列扫描的最小值 Int 是 0 如果不设置,SeaTunnel 将查询数据库获取最小值。
分区数 Int 否 0 只支持正整数,默认值为作业并发数。
连接超时时间 Int 是 30 连接超时时间,单位为:秒。
可选参数 - 否 - 其他参数,用户可以根据需求进行配置。

# FAQ

← StarRocks ArgoDB →