Skip to content

⌘CtrlK

Appearance

Sidebar Navigation

产品介绍

安装部署

发布日志
介质说明
部署方案
微服务版(MicroApp)安装指南
- 安装必读
  安装环境准备
  - Zookeeper安装指南(可选)
    SeaTunnel安装指南
    Primeton DI安装指南
    DolphinScheduler安装指南
    Nacos安装指南
    Nginx安装指南
    Redis安装指南
    Neo4j安装指南(可选)
  DWS 安装指南
独立版(Standalone)安装指南
版本升级指南
- 微服务版7.1.0升级到7.2.0

快速入门

数据准备
数据开发
投产及运维

操作指南

管理控制台
公共资源
- 数据层管理
  存算引擎管理
  数据源管理
  调度引擎管理
  主题管理
  系统管理
数据开发
- 项目管理
  项目配置
  - 调度引擎配置
    项目成员配置
    项目参数管理
    数据源配置
    任务组配置
    环境配置
    文件管理
    清洗规则管理
  数据建模
  项目开发
  - 支持的数据源及同步方案
    IDE概览
    数据同步作业开发
    数据源
    CDC
    ClickHouse
    Doris
    Elasticsearch
    Hive
    Inceptor
    Kafka
    LocalFile
    MongoDB
    MaxCompute
    MinIO
    Neo4j
    RabbitMQ
    Redis
    RocketMQ
    StarRocks
    S3
    关系型数据库
    目标
    ArgoDB
    ClickHouse
    Console
    Doris
    Elasticsearch
    HBase
    Hive
    Http
    Inceptor
    Kafka
    LocalFile
    MaxCompute
    MinIO
    Neo4j
    RabbitMQ
    Redis
    RocketMQ
    StarRocks
    S3
    关系型数据库
    转换
    Copy
    DefineSinkType
    FieldMapper
    FieldRename
    Filter
    FilterRowKind
    JsonPath
    LLM
    Replace
    Split
    SQL
    TableFilter
    TableMerge
    TableRename
    数据加工-转换作业开发
    输入
    Access输入
    ArgoDB输入
    CSV文件输入
    Excel输入
    Hbase输入
    Hive输入
    JSON输入
    Kafka输入
    MaxCompute输入
    MongoDB输入
    SAP输入
    StarRocks输入
    XML输入
    关系型数据库输入
    文本文件输入
    生成记录
    生成随机数
    获取系统信息
    获取表名
    获取文件名
    S3文件输入
    Minio文件输入
    HDFS文件输入
    输出
    ArgoDB输出
    Doris输出
    Excel输出
    Hbase输出
    HDFS文件输出
    Hive输出
    JSON输出
    Kafka输出
    MaxCompute输出
    Minio文件输出
    MongoDB输出
    ORC输出
    PARQUET输出
    S3文件输出
    StarRocks输出
    XML输出
    关系型数据库输出
    文本文件输出
    删除
    选择/增删改
    插入/更新
    更新
    转换
    字段选择
    增加常量
    Switch/Case
    字符串替换
    增加序列
    字符串截取
    去除重复记录
    排序记录
    排序合并
    值映射
    计算器
    拆分字段
    列拆分为多行
    运行SSH命令
    数据脱敏
    设置字段值
    列转行
    行扁平化
    数据清洗
    脚本
    JAVA
    JavaScript
    执行SQL脚本
    通用
    写日志
    空操作
    设置变量
    获取变量
    数据检验
    数据过滤
    阻塞到最后一行
    阻塞数据直到步骤完成
    查询
    数据库查询
    流查询
    Hbase查询
    Rest Client
    Web服务查询
    连接
    比对记录
    数据连接
    批量加载
    Mysql批量加载
    Oracle批量加载
    PostgreSQL批量加载
    作业
    从结果获取记录
    从结果获取文件
    复制记录到结果
    复制文件到结果
    数据仓库
    维度查询/更新
    联合查询/更新
    数据加工-编排作业开发
    通用
    开始
    成功
    设置变量
    转换
    编排
    写日志
    文件传输
    FTP删除
    FTP下载
    FTP上传
    OSS下载
    OSS上传
    SFTP下载
    SFTP上传
    脚本
    SQL
    Primeton DI 通用模板开发
    （全量）关系型数据库同步
    （全量）关系型数据库到Hive同步
    （全量）关系型数据库到StarRocks同步
    （全量）StarRocks到StarRocks同步
    （全量）StarRocks到关系型数据库同步
    （全量）关系型数据库到Doris同步
    （全量）Doris到Doris同步
    （全量）Doris到关系型数据库同步
    （全量）StarRocks到Hive同步
    （全量）关系型数据库到主数据同步
    （增量）时间戳关系型数据库同步
    （增量）时间戳关系型数据库到Hive同步
    （增量）时间戳关系型数据库到StarRocks同步
    （增量）时间戳StarRocks增量同步
    （增量）时间戳StarRocks到关系型数据库增量同步
    （增量）时间戳StarRocks到Hive增量同步
    （增量）时间戳关系型数据库到Doris增量同步
    （增量）时间戳Doris增量同步
    （增量）时间戳Doris到关系型数据库增量同步
    （增量）时间戳Doris到Hive增量同步
    （增量）时间戳Hive到关系型数据库增量同步
    （增量）时间戳关系型数据库到主数据增量同步
    Seatunnel 通用模板开发
    （全量）关系型数据库同步
    （全量）关系型数据库到Hive同步
    （全量）关系型数据库到StarRocks同步
    （全量）StarRocks到StarRocks同步
    （全量）StarRocks到关系型数据库同步
    （全量）关系型数据库到Doris同步
    （全量）Doris到Doris同步
    （全量）Doris到关系型数据库同步
    （全量）StarRocks到Hive同步
    （全量）StarRocks到MongoDB同步
    （增量）时间戳关系型数据库同步
    （增量）时间戳关系型数据库到Hive同步
    CDC增量同步
    程序开发
    SQL程序
    Shell程序
    Seatunnel程序
    Procedure程序
    Spark程序
    Flink程序
    DI程序
    MapReduce程序
    Python程序
    作业流开发
    SQL客户端
    回收站
    数据血缘
  作业调度
项目投产
- 导出资源包
  导入资源包
  导入历史记录
  导出历史记录
  在线投产
  离线投产
  投产记录
数据运维
- 作业流监控
  任务监控
  告警监控
  任务组队列
  血缘地图
  血缘任务管理
开发示例
- 开发转换示例
  - MySQL表数据同步示例
    MySQL表数据同步示例（替换SQL语句变量）
    MySQL表数据同步示例（从步骤中插入变量）
    Excel 文件输入示例
    文件输出示例
    JavaScript 脚本使用示例
    执行SQL示例
    比对记录示例
    数据连接示例
    批量加载示例
    复制记录到结果及从结果获取记录示例
    拉链表示例
    联合查询/更新示例
    数据脱敏示例
    生成记录组件-示例1
    生成记录组件-示例2
    生成记录组件-示例3
    MaxCompute输入示例
    MaxCompute输出-向MaxCompute写入数据用例
    文本文件输出-输出文件至HDFS
    文本文件输出-输出文件至LOCAL
    文本文件输出-从字段中获取文件名
    XML输出-输出文件至HDFS
    XML输出-输出文件至LOCAL
    JSON输出-输出文件至HDFS
    JSON输出-输出文件至LOCAL
    Excel输出-输出文件至HDFS
    Excel输出-输出文件至LOCAL
    Hive输出-列映射使用
    HBase输出-列映射使用
    ORC输出-输出文件至HDFS
    ORC输出-输出文件至LOCAL
    ORC输出-输出内容至HIVE
    Parquet输出-输出文件至HDFS
    Parquet输出-输出文件至LOCAL
    Parquet输出-输出内容至HIVE
    StarRocks输出-字段映射使用
    ArgoDB输出-上游字段与目标表字段不匹配
    关系型数据库输出-列映射使用
    删除符合条件的数据
    对选择表进行更新数据
    更新数据
    新增数据
    关系型数据库到Doris数据库数据同步
    对Kafka主题输入数据
    修饰符更新使用
    kafka数据输出到DB示例
    DB数据写入kafka示例
    RestClient示例
    数据库查询示例
    S3文件输入-输出示例
    Minio文件输入-输出示例
    HDFS文件输入-输出示例
    HBase查询示例
    流查询示例
    Excel输入-读取HDFS文件
    Excel输入-读取LOCAL文件
    Excel输入-读取上游字段文件
    CSV文件输入-读取HDFS文件
    CSV文件输入-读取LOCAL文件
    文本文件输入-读取HDFS文件
    文本文件输入-读取LOCAL文件
    文本文件输入-读取上游字段文件
    JSON输入-读取HDFS文件
    JSON输入-读取LOCAL文件
    JSON输入-读取上游字段文件
    XML输入-读取HDFS文件
    XML输入-读取LOCAL文件
    XML输入-读取上游字段文件
    Access输入-读取HDFS文件
    Access输入-读取LOCAL文件
    Access输入-读取上游字段文件
    Hive输入-SQL变量替换
    Hive输入-上游数据入参
    Hive输入-通用配置变量
    关系型数据库输入-SQL变量替换
    关系型数据库输入-上游数据入参
    关系型数据库输入-通用配置变量
    Kafka输入-基本配置使用
    StarRocks输入-读取StarRocks表
    Hbase输入-读取Hbase表
    MongoDB输入-读取MongoDB数据
    生成随机数-生成随机数
    获取系统信息-获取当前日期
    SAP输入-读取SAP表
    MaxCompute输入-读取MaxCompute数据
    ArgoDB输入-读取ArgoDB数据1
    ArgoDB输入-读取ArgoDB数据2
    ArgoDB输入-读取ArgoDB数据3
    获取文件名-读取HDFS文件名
    获取文件名-读取LOCAL文件名
    获取文件名-字段定义文件名
    获取表名-获取MySQL表名
    计算器组件-对上游中数据中两个数字进行加法输出
    增加常量组件-增加常量字段
    数据脱敏组件-对敏感数据进行脱敏
    列转行组件-将列转为行
    数据清洗组件-动态数据清洗
    拆分字段组件-拆分字段
    字符串替换组件-替换字符串
    行扁平化组件-行扁平化
    字段选择组件-选择字段
    增加序列替换组件-增加序列
    设置字段值组件-设置字段值
    列拆分为多行组件-列拆分为多行
    运行SSH命令组件-执行SSH命令
    Switch/Case组件-Switch/Case条件判断
    值映射组件-值映射
    字符串截取组件-截取字符串
    排序合并组件-排序合并
    排序记录组件-排序记录
    去除重复记录组件-去除重复记录
    执行SQL脚本组件-执行SQL脚本
    JavaScript组件-JavaScript脚本处理
    JAVA组件-JAVA自定义类
    设置变量组件-设置变量
    写日志组件-写日志
    数据过滤组件-过滤数据
    数据检验组件-检验数据
    空操作组件-空操作
    阻塞到最后一行组件-阻塞到最后一行
    阻塞数据直到步骤都完成组件-阻塞直到步骤完成
    Rest Client组件-Rest请求1
    Rest Client组件-Rest请求2
    Web服务查询组件-Web服务查询
  开发编排示例
  - FTP上传示例
    分页循环抽取数据示例
    多个动态的库名下表数据抽取示例
    FTP上传下载删除
    OSS上传
    OSS下载
    SFTP上传下载
    SQL插入数据
  开发数据同步作业示例
  - Mysql多表数据同步到StarRocks示例
    CDC同步关系型数据库示例
    CDC数据抽取示例
    ClickHouse同步示例
    ClickHouse多表同步示例
    Doris同步示例
    Doris多表同步示例
    Hive读取数据示例
    Hive分区表数据同步示例
    关系型数据库同步Hive数据示例
    Kafka复杂Json数据写入文件
    读取文件数据写入Kafka
    读取Mongo数据写入文本
    MaxCompute多表数据同步示例
    实时读取RabbitMQ写入Argo库中
    将neo4j数据库数据经过处理后写入Kafka
    关系型数据库数据写入Neo4j
    将Mysql的数据写入HBase中
    CDC通过FilterRowKind组件过滤数据
    StarRocks数据库同步
    StarRocks数据库多表同步
    Split组件分割字段
    将数据库中数据写入Elasticsearch中
    Kafka到PG的数据同步示例
    Kafka到PG的数据同步示例(带函数)
    Elasticsearch 同步到 MySQL示例
  开发PDI通用模板示例
  - PDI-关系型数据库同步示例
    PDI-关系型数据库到Hive同步示例
    PDI-关系型数据库到StarRocks同步示例
    PDI-StarRocks到StarRocks同步示例
    PDI-StarRocks到关系型数据库同步示例
    PDI-StarRocks到Hive同步示例
    PDI-时间戳关系型数据库到Hive增量同步示例
    PDI-时间戳关系型数据库到StarRocks增量同步示例
    PDI-时间戳StarRocks到StarRocks增量同步示例
    PDI-时间戳StarRocks到关系型数据库增量同步示例
    PDI-时间戳StarRocks到Hive增量同步示例
    PDI-时间戳关系型数据库到Doris增量同步示例
    PDI-时间戳Doris增量同步示例
    PDI-时间戳Doris到关系型数据库增量同步示例
    PDI-时间戳Doris到Hive增量同步示例
    PDI-关系型数据库到主数据同步示例
    PDI-时间戳关系型数据库到主数据增量同步示例
    PDI-时间戳Hive到关系型数据库增量同步示例
  开发Seatunnel通用模板示例
  - Seatunnel-关系型数据库同步示例
    Seatunnel-关系型数据库到Hive同步示例
    Seatunnel-关系型数据库到StarRocks同步示例
    Seatunnel-StarRocks到StarRocks同步示例
    Seatunnel-StarRocks到关系型数据库同步示例
    Seatunnel-StarRocks到Hive同步示例
    Seatunnel-StarRocks到MongoDB同步示例
    Seatunnel-CDC增量同步示例
    Seatunnel-时间戳关系型数据库增量同步示例
    Seatunnel-时间戳关系型数据库到Hive增量同步示例
  开发程序示例
  - SQL程序开发过程示例
    查询类SQL程序示例
    非查询类SQL程序示例
    Shell程序示例
    Flink程序示例
    Python程序示例
  开发作业流示例
  - 开发作业流示例
    开发作业流流程控制示例

应用集成

公共资源项目集成
- starter集成模式
  SDK集成模式
数据开发项目集成
- starter集成模式
  SDK集成模式

运维指南

常见问题解答
调度引擎注册失败
数据源与连接问题
数据开发相关问题
性能与资源问题
- CPU飙高
  数据同步慢与内存溢出
权限与账号问题
数据一致性与正确性
数据血缘和数据运维问题

操作指南/数据开发/项目开发/数据加工-转换作业开发/脚本/脚本组件

脚本组件

执行SQL脚本
JAVA
JavaScript

input

Pager

Previous page数据清洗

Next pageJAVA

安装环境准备

项目配置

项目开发

数据同步作业开发

数据源

目标

转换

数据加工-转换作业开发

输入

输出

转换

脚本

通用

查询

连接

批量加载

作业

数据仓库

数据加工-编排作业开发

通用

文件传输

脚本

Primeton DI 通用模板开发

Seatunnel 通用模板开发

程序开发

开发转换示例

开发编排示例

开发数据同步作业示例

开发PDI通用模板示例

开发Seatunnel通用模板示例

开发程序示例

开发作业流示例

脚本组件 ​

脚本组件