PrimetonDWS

Appearance

操作指南/数据开发/项目开发/数据加工-转换作业开发/输出/文本文件输出/文本文件输出组件使用说明

文本文件输出组件使用说明 ​

组件说明 ​

文本文件输出用于将数据导出到文本文件。此步骤通常用于生成可由电子表格应用程序读取的逗号分隔值 (CSV) 文件，也可用于生成特定长度的文件。

组件支持LOCAL和HDFS类型，如果输出到HDFS则部署Primeton DI时，需要配置 Hadoop 集群环境。

配置项说明 ​

配置名称数据类型是否必须默认值描述
节点名称String是-当前创建的节点名称，由用户自定义且不可为空。命名可包含字母、数字、下划线。
选择类型String是-可选择“HDFS”类型或“LOCAL”类型。
文件/目录String是-读取数据的文件/目录来源。
文件名称String是-输出文件文件名。
创建父目录Boolean是true启用此选项可创建父文件夹。
从字段中获取文件名Boolean是false启用此选项可在输入流的字段中指定文件名。
扩展名String是txt文件名末尾添加点和扩展名。（.txt）。
定时刷新Boolean是false是否将缓冲区中的数据立即提交到MongoDB。
刷新间隔Integer是0刷新间隔。
文件名包含日期Boolean是false生成的文件名中包含日期。
文件名包含时间Boolean是false生成的文件名中包含时间。
是否添加文件名到结果Boolean是true勾选此项，可把转换的结果文件名存进流中，使其可以在后续步骤中被获取。
分隔符String是;指定在文本中分隔字段的字符，例如;或者制表符。
编码方式String是UTF-8指定文件使用的编码。
格式String是Unix输出文件格式。DOS、UNIX或者mixed。UNIX 文件行分隔符是换行符。DOS 文件可以是换行符或者回车符。mixed（混合）不会对文件原有的行终止符做严格验证或统一转换。
压缩格式String是None指定压缩的类型。
每 行分割数据Integer是0根据指定行数对结果数据进行行分割输出。
追加方式Boolean是false是否在指定的文件最后追加行。
添加头部行Boolean是true勾选后选用第一行数据作为头部，例如：CSV。
内容字段String是-名称：设置要在输出流中显示的字段名称。内容：字段类型。格式：控制输入数据的格式。长度：对于Number：有效数的数量对于String：字符的长度；对于Date：打印输出字符的长度（例如4 代表返回年份）。精度：只对number有效，为浮点数保留位置。

FAQ ​

Q1: 使用星环HDFS数据源，选择追加模式时，需配置hdfs-site.xml参数。
A1：在diserver/plugins/pentaho-big-data-plugin/hadoop-configurations/tdh下，编辑hdfs-site.xml文件，添加

<property>
  <name>dfs.support.append</name>
  <value>true</value>
</property>
<property>
  <name>dfs.client.block.write.replace-datanode-on-failure.enable</name>
<value>true</value>
</property>
<property>
  <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
  <value>NEVER</value>
</property>