Skip to content

CSV文件输入组件使用说明

组件说明

从指定的CSV文件输入数据。

组件支持LOCAL和HDFS类型,如果输出到HDFS则部署Primeton DI时,需要配置 Hadoop 集群环境

配置项说明

配置名称数据类型是否必须默认值描述
节点名称String-当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
选择类型String-可选择“HDFS”类型或“LOCAL”类型。
选择数据源String-当前输入绑定的数据源名称,从下拉选项中列出的指定的关联类型(HDFS)的数据源进行选择。并对文件进行过滤只显示CSV文件类型。
文件目录String-读取数据的文件/目录来源。
源文件包含列名标题行String-指示源文件是否包含列名的一个标题行。
字段中有回车换行String-设置数据字段是否可能包含换行字符。
添加文件名到结果String-将CSV源文件名添加到此转换的结果中。
文件编码String-指文件本身的编码,防止读取的数据乱码。文件编码类型可使用notepad++进行查看
列分隔符String-文件中每一列数据之间,使用的分割符。
封闭符String-指定源文件中使用的结束字符。
NIO缓存String-指定读取缓冲区的大小,指一次从源文件读取的字节数(性能相关)。
字段定义列表String-名称:字段的名称。
类型:字段的类型(String,Date或Number等)。
格式:用于转换原始字段格式的可选格式掩码。
长度:字段的长度取决于以下字段类型:Number:一个数字中有效数字的总数;String:字符串的总长度;Date:字符串打印输出的长度。
精度: 用于数字类型字段的浮点数。