JSON输入组件使用说明

• 组件说明
• 配置项说明
• 使用示例
  • 从HDFS获取文件
  • 从LOCAL获取文件
  • 从JSON源获取文件名

组件说明

该组件使用JSONPath表达式从JSON结构、文件或传入字段读取数据，以提取数据和输出行。JSONPath表达式可以使用点表示法或方括号表示法。

配置项说明

配置名称	数据类型	是否必须	默认值	描述
节点名称	String	是	-	当前创建的节点名称，由用户自定义且不可为空。命名可包含字母、数字、下划线。
是否将XML源定义在一个字段中	Boolean	是	false	选择从前面定义的字段检索源。选择后，设置一下字段可用：Select field(从字段获取源字段名)、Use field as file names(JSON源是一个文件名)、Read source as URL(从URL获取JSON源)
选择类型	String	是	-	可选择“HDFS”类型或“LOCAL”类型。
选择数据源	String	是	-	当前输入绑定的数据源名称，从下拉选项中列出的指定的关联类型(HDFS)的数据源进行选择。
文件或路径	String	是	-	如果源未在字段中定义，请指定源文件。
正则表达式	String	是	-	指定一个正则表达式来匹配指定目录中的文件名。
正则表达式(排除)	String	是	-	指定一个正则表达式以排除指定目录中的文件名。
无文件不报错	Boolean	是	-	当没有文件可供处理时，继续执行。
忽略空文件	Boolean	是	true	选择跳过空文件。清除后，空文件将导致进程失败并停止。
忽略不完整路径	Boolean	是	true	当出现错误(1)没有字段匹配JSON路径或(2)所有值都为null时，选择继续处理文件。清除后，发生错误时不再处理其他行。
将默认路径的叶子节点设为null	Boolean	是	true	默认情况下不会将任何叶子节点设为null，它会直接跳过这些值为空的叶子节点。如果选中，为缺少的路径返回一个null值。
限制	Integer	是	0	指定从该步骤生成的记录数量的限制。当设置为0时，结果不受限制。
输出中包含文件名	String	是	-	如果选中，则在结果中添加具有文件名的字符串字段。
输出中包含行数	String	是	-	选择此选项可在结果中添加带有行号的整数字段。
添加文件名到结果	String	是	-	选择将已处理文件添加到结果文件列表。
文件名字段	String	是	-	输出不带路径信息但带扩展名的文件名的字段。
扩展名字段	String	是	-	输出扩展名的字段。
文件大小字段	String	是	-	输出数据大小的字段
Uri字段	String	是	-	输出文件的url的绝对路径
字段设置	String	是	-	名称：映射到JSON输入流中相应字段的字段的名称。路径：JSON输入流中字段名的完整路径。通过在路径中添加星号*，可以检索所有记录。类型：输入字段的数据类型。格式：用于转换原始字段格式的可选掩码。有关此步骤中可以使用的通用有效日期和数字格式的信息。