Python 程序

• 说明
• 配置项说明
• 使用示例
  • 简单打印一行文字
  • 使用自定义参数
• FAQ

说明

Python 程序是 DolphinScheduler 中最通用的轻量任务类型（可运行普通脚本、PySpark/PyFlink 脚本）。

worker 执行该任务的时候，会生成一个临时 python 脚本， 并使用与租户同名的 linux 用户执行这个脚本。

提示:

1、执行 Python 程序前，需要配置 DolphinScheduler 执行用户如dws对应的环境变量。 编辑 ~/.bashrc 文件并使其生效。
2、环境变量的配置如果是在 DolphinScheduler 启动后修改的，则需要重启 DolphinScheduler。
否则会出现异常，类似： PermissionError:[Errno 13]Permission denied:'/usr/local/lib/python3.6/site-packages/corpwechatbot/token.json'

su dws

vi ~/.bashrc

#/usr/bin/python 为python命令的路径
export PYTHON_LAUNCHER=/usr/bin/python 

source ~/.bashrc

配置项说明

1. 基础环境配置（必选）

配置项	默认值	描述
资源选择	-	脚本依赖的额外文件（如配置文件、数据文件，多个用逗号分隔） 。
脚本	-	在线编辑模式下必填，直接编写 Python 代码（适合短脚本，不建议复杂逻辑）。

2. 运行控制配置（可选）

这类配置决定 Python 程序在 DolphinScheduler 内的运行规则，属于调度层面的配置。在「通用配置」中进行配置。

配置项	默认值	描述
任务优先级	MEDIUM	worker 线程数不足时，根据优先级从高到低依次执行，优先级一样时根据先进先出原则执行。
Worker 分组	default	任务分配给 worker 组的机器执行，选择 Default，会随机选择一台 worker 机器执行。
任务组	-	用于控制任务实例并发，选择项目中已经定义好的任务组。
任务组优先级	0	任务在任务组内运行的优先级，数字越大优先级越高。
环境名称	-	运行程序时指定的虚拟环境。
本地参数	-	是程序局部的用户自定义参数，会替换程序中以 ${变量} 的内容。
失败重试次数	0	任务失败后的重试次数，单位：次。
失败重试间隔	1	多次重试之间的等待时间，单位：分钟。
超时告警	关闭	勾选超时告警、超时失败，当任务超过”超时时长”后，会发送告警邮件并且任务执行失败。

FAQ

无