普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
应用集成
FAQ
  • MapReduce 程序
  • 说明
  • 配置项说明
  • JAVA/SCALA 程序
  • Python 程序
  • FAQ

# MapReduce 程序

  • 说明
  • 配置项说明
  • 使用示例
    • JAVA/SCALA 程序
    • Python 程序
  • FAQ

# 说明

MapReduce(MR) 任务类型,用于执行 MapReduce 程序。

对于 MapReduce 节点,worker 会通过使用 Hadoop 命令 hadoop jar 的方式提交任务。

程序类型为 JAVA/SCALA 或者 Python 时,配置项的要求有所区别。

# 配置项说明

# JAVA/SCALA 程序

配置项 是否必填 默认值 描述
任务名称 否 - 选择 JAVA/SCALA 语言。
程序类型 是 - 选择 JAVA/SCALA 语言。
主函数的 Class 否 - MapReduce 程序的入口 Main class 的全路径。
主程序包 是 - 执行 MapReduce 程序的 jar 包。
主程序参数 否 - 是 MapReduce 局部的用户自定义参数,会替换脚本中以 ${变量} 的内容。
选项参数 否 - 支持 –D、-files、-libjars、-archives 格式。

# Python 程序

配置项 是否必填 默认值 描述
程序类型 是 - 选择 Python 语言。
主函数的 Class 否 - 不用填写。
主程序包 是 - 运行 MapReduce 的 Python jar 包。
主程序参数 否 - 是 MapReduce 局部的用户自定义参数,会替换脚本中以 ${变量} 的内容。
选项参数 否 - 支持 –D、-mapper、-reducer、-input -output格式,这里可以设置用户自定义参数的输入。
比如:-mapper “mapper.py 1” -file mapper.py -reducer reducer.py -file reducer.py –input /journey/words.txt -output /journey/out/mr/${currentTimeMillis},其中 -mapper 后的 mapper.py 1是两个参数,第一个参数是 mapper.py,第二个参数是 1。

# FAQ

无

← DI程序 Python程序 →