PrimetonDWS

Appearance

操作指南/数据开发/项目开发/程序开发/Seatunnel程序/Seatunnel 程序

Seatunnel 程序 ​

说明 ​

Seatunnel 程序是 DolphinScheduler 内置的任务类型，可直接调度 SeaTunnel 数据同步 / ETL 任务，支持 Zeta（内置）、Spark、Flink 三种引擎，适合异构数据源同步与数据处理。

前置环境准备 ​

  1. 安装 SeaTunnel（所有 Worker 节点）
  • 下载并解压 SeaTunnel（建议 2.3.x+），配置 SEATUNNEL_HOME
  • 安装所需 Connector（如 JDBC、MySQL、Doris、Kafka 等）
  • 放入对应数据库驱动（如 mysql-connector-java-8.0.30.jar）到 ${SEATUNNEL_HOME}/lib/
  1. DolphinScheduler 环境配置 编辑 bin/env/dolphinscheduler_env.sh，添加：
bash
# 必须配置
export SEATUNNEL_HOME=${SEATUNNEL_HOME:-/opt/seatunnel-2.3.12}
# 可选：JVM 优化
export SEATUNNEL_JAVA_OPTS="-Xms4G -Xmx4G"

保存后重启 DolphinScheduler 集群。

  1. 资源中心（推荐）
  • 通过 项目配置》文件管理 上传 SeaTunnel 配置文件（.conf）到 DolphinScheduler 资源中心，便于统一管理。

配置项说明 ​

配置项默认值描述
启动脚本-选择 SeaTunnel 核心运行脚本及版本（单机 / 集群，集群依赖 Spark/Flink 引擎）。
部署方式-支持 cluster 和 local 两种模式的部署。
自定义配置开启开启：用户可直接填写 SeaTunnel 配置（env/source/transform/sink）。
关闭：用户可以从资源列表中选择。

启动脚本说明： ​

注意

脚本名称需与 Worker 节点 ${SEATUNNEL_HOME}/bin/ 目录下的脚本完全一致。

启动脚本对应引擎适用场景DolphinScheduler 配置值
seatunnel.shZeta（内置引擎）轻量批处理、无 Spark/Flink 集群环境seatunnel.sh
start-seatunnel-spark.sh依赖 Spark 集群的批处理任务start-seatunnel-spark.sh
start-seatunnel-spark-connector-v2.shSpark 1.x依赖 Spark 集群的批处理任务start-seatunnel-spark-connector-v2.sh
start-seatunnel-spark-2-connector-v2.shSpark 2.x依赖 Spark 集群的批处理任务start-seatunnel-spark-2-connector-v2.sh
start-seatunnel-spark-3-connector-v2.shSpark 3.x依赖 Spark 集群的批处理任务start-seatunnel-spark-3-connector-v2.sh
start-seatunnel-flink.sh流处理 / 批处理、依赖 Flink 集群start-seatunnel-flink.sh
start-seatunnel-flink-connector-v2.shFlink 1.+流处理 / 批处理、依赖 Flink 集群start-seatunnel-flink-connector-v2.sh
start-seatunnel-flink-13-connector-v2.shFlink 1.13+流处理 / 批处理、依赖 Flink 集群start-seatunnel-flink-13-connector-v2.sh
start-seatunnel-flink-15-connector-v2.shFlink 1.15+流处理 / 批处理、依赖 Flink 集群start-seatunnel-flink-15-connector-v2.sh

配置示例（生产常用） ​

示例 1：Zeta 引擎（最简配置）

  • 启动脚本：seatunnel.sh
  • 部署方式：local
  • 选项参数：空
  • 脚本：完整的 SeaTunnel HOCON 配置（如 MySQL → Doris）。

示例 2：Spark 引擎（YARN Cluster 模式）

  • 启动脚本：start-seatunnel-spark-3-connector-v2.sh
  • 部署方式：cluster
  • Master：yarn
  • 选项参数：--deploy-mode cluster --queue data_sync --executor-memory 4G --num-executors 10
  • 脚本：适配 Spark 的 SeaTunnel 配置。

FAQ ​

无