普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
应用集成
FAQ
  • 调度引擎管理
  • 新增调度引擎
  • 修改调度引擎
  • 删除调度引擎
  • 执行资源配置
  • 节点管理
  • 环境管理
  • 任务组管理
  • 执行资源状态
  • 搜索

# 调度引擎管理

调度引擎是一个分布式易扩展的作业流任务调度系统。调度引擎以 DAG(Directed Acyclic Graph,DAG)流式方式组装任务,可以及时监控任务的执行状态,支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。

调度引擎管理涉及的功能包括:

  • 新增调度引擎
  • 修改调度引擎
  • 删除调度引擎
  • 执行资源配置
    • 节点管理
    • 环境管理
    • 任务组管理
  • 执行资源状态
  • 搜索

点击上方菜单栏“调度引擎管理”,进入作业调度管理界面。

调度引擎列表

# 新增调度引擎

点击【+新建调度引擎】按钮,弹出"新建调度引擎"界面。按照向导页面要求录入调度引擎的参数配置信息。

注意:引擎编码必须和配置文件中的 org.quartz.scheduler.instanceName: scheduler-test 保持一致(比如:scheduler-test)。用户可以自行修改配置文件的 instanceName ,然后再创建调度引擎。

如果 instanceName 不一致,会造成定时调度任务不执行的问题。

配置文件路径:/apache-dolphinscheduler-7.1.0-bin/master-server/conf/application.yaml

具体如下:

(略)
properties:
  org.quartz.threadPool.threadPriority: 5
  org.quartz.jobStore.isClustered: true
  org.quartz.jobStore.class: org.springframework.scheduling.quartz.LocalDataSourceJobStore
  org.quartz.scheduler.instanceId: AUTO
  org.quartz.jobStore.tablePrefix: QRTZ_
  org.quartz.jobStore.acquireTriggersWithinLock: true
  org.quartz.scheduler.instanceName: scheduler-test
  org.quartz.threadPool.class: org.quartz.simpl.SimpleThreadPool
  org.quartz.jobStore.useProperties: false
  org.quartz.threadPool.makeThreadsDaemons: true
  org.quartz.threadPool.threadCount: 25
  org.quartz.jobStore.misfireThreshold: 60000
  org.quartz.scheduler.batchTriggerAcquisitionMaxCount: 1
  org.quartz.scheduler.makeSchedulerThreadDaemon: true
  org.quartz.jobStore.driverDelegateClass: org.quartz.impl.jdbcjobstore.PostgreSQLDelegate
  org.quartz.jobStore.clusterCheckinInterval: 5000
(略)

新建调度引擎

点击【下一步】按钮,按照向导页面要求继续录入调度引擎参数配置。

新建调度引擎

点击【确定】按钮,完成新建调度引擎的操作。

参数说明:

参数 说明
引擎名称 当前创建的调度引擎名称,由用户自定义且不可为空。命名可包含汉子、字母、数字、下划线。
引擎编码 当前创建的调度引擎编码,由用户自定义且不可为空。命名可包含字母、数字、下划线。
注册类型 目前支持 jdbc 和 zookeeper 两种方式。介质默认支持 jdbc 注册方式。
环境选择 当前创建的调度引擎所属的环境,从下拉选项选择(数据字典)且不可为空。
所属部门 当前创建的调度引擎所属部门,从机构选项进行选择。
所属系统 当前创建的调度引擎所属系统,从下拉选项选择(数据字典)。
用途 当前创建的调度引擎的用户说明。
备注 当前创建的调度引擎的备注信息,用于记录用户自定义内容。
注册中心 当注册类型选择“jdbc”时,需要配置该 jdbc 的数据源类型、驱动类、用户名、密码、数据库URL等参数。
当注册类型选择“zookeeper”时,需要配置当前创建的调度引擎的 zookeeper 注册地址和 namespace 。
namespace 即部署 DolphinScheduler 时在 bin/env/install_env.sh 中配置的 zkRoot=${zkRoot:-"/dws"}。
连接参数 当前创建的调度引擎的连接参数。
调度租户 当前创建的调度引擎的调度租户信息。是 DWS安装必读 时创建的免密用户,即在 bin/env/install_env.sh 中配置的 deployUser=${deployUser:-"dws"}。
yarn队列 当前创建的调度引擎的 yarn 队列名称。
HDFS数据源 当前创建的调度引擎的 HDFS 数据源(只读)。
HDFS数据源、HDFS用户名、文件存储路径都是从配置文件中读取,如若修改,请参见:DolphinScheduler安装指南4.对接分布式或远端对象存储。
HDFS用户名 当前创建的调度引擎的 HDFS 用户名(只读)。
文件存储路径 当前创建的调度引擎的 HDFS 文件存储路径(只读)。

# 修改调度引擎

点击存算引擎列表右侧的【编辑】按钮,弹出"调度资源详情"弹窗,用户可以根据需求进行参数的修改。

点击【确定】按钮,完成参数的修改、保存。

点击【取消】按钮,取消本次修改操作。

修改调度引擎

修改调度引擎

# 删除调度引擎

点击调度引擎列表后边的【删除】按钮,弹出"删除确认"信息。按照要求解绑后才能继续删除操作。

点击弹框的【确认】按钮,完成删除操作。

点击弹框的【取消】按钮,取消本次删除操作。

删除调度引擎

# 执行资源配置

点击调度引擎列表后边的【执行资源配置】按钮,弹出"执行资源配置"弹窗。

执行资源配置

# 节点管理

选择“节点管理”,可以管理调度引擎的 Worker 节点。

点击底部的【新增】按钮,可以添加执行资源的 Worker 分组。用户可以将选择不同 Worker 节点放在同一个分组中。

提示:
1、Master、Worker 下列表显示的节点会自动发现并显示,不允许删除。
2、Worker分组名称具有唯一性,不允许重名。

执行资源配置

# 环境管理

环境管理用于管理一个 Worker 的多个环境。在任务执行时,将任务分配给指定 Worker 分组,根据 Worker 分组选择对应的环境,最终由该组中的 Worker 节点执行环境来执行任务。

比如:Worker1 配置了两个 DI 环境 DI1、DI2,在 IDE 的通用配置中,作业1选择环境“DI1”,作业2选择环境“DI2”,则在具体执行时作业1、作业2分别在环境 DI1、DI2 执行。

选择“环境管理”,进入环境管理界面。

执行资源配置

点击【新建环境】按钮,填入环境名称、环境配置、环境描述,即可新建 Worker 环境。

执行资源配置

点击【编辑】,可以修改环境信息。

点击【删除】,可以删除已经配置好的环境。

# 任务组管理

任务组用于控制任务实例并发。针对不同项目,可以配置对应的任务组,并配置任务在任务组内运行的优先级。

选择“任务组管理”,进入任务组管理界面。

执行资源配置

点击【新建任务组】按钮,填入任务组名称、任务组大小、启用/不启用、描述,即可新建任务组。

执行资源配置

点击【编辑】,可以修改任务组。

点击【删除】,可以删除已经创建的任务组。

# 执行资源状态

点击调度引擎列表后边的【执行资源状态】按钮,弹出"执行资源状态"弹窗。可以查看对应调度引擎的 Master 和 Worker 的资源状态,包括:Master 和 Worker 的节点地址、心跳、CPU 使用率、内存使用率、磁盘可用容量。

执行资源状态

# 搜索

点击调度引擎列表右上方的【高级搜索】按钮,输入搜索条件"引擎编码"或者"引擎名称",点击【搜索】按钮,可以按照条件完成模糊查询,点击【重置】按钮,可以清空搜索条件。

搜索调度引擎

← 数据源管理 数据租户管理 →