Hive Source组件使用说明

• Hive Source组件使用说明
  • 组件说明
  • 配置项说明
  • 使用示例
    • Hive分区表数据同步示例
  • FAQ

组件说明

用于从 Hive 读取数据。

注意

同一个作业中不能同时出现 Hive Source 和星环 Inceptor Source 组件。

配置项说明

配置名称	数据类型	是否必填	默认值	描述
节点名称	String	是	Hive	当前创建的节点名称，由用户自定义且不可为空。命名可包含字母、数字、下划线。 确保唯一性。
节点编码	String	是	自动生成	当前创建的节点编码，以此标识此组件，由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
选择数据源	String	是	-	从下拉选项中选择列出的当前项目已经关联的数据源。
选择库	String	是	-	从下拉列表中选择数据库。
选择表	String	是	-	从下拉列表中选择数据表。
压缩算法	String	是	none	lzo 适用于 txt、json、csv； orc 和 parquet 会自动识别压缩类型，无需设置； none 为不需要压缩/解压缩。
读取分区	String	否	-	从配置单元表中读取的目标分区，如果不设置此参数，将从配置单元中读取所有数据。
读取列名	String	否	-	读取数据源的列，可以使用它来实现字段投影。
中止操作时是否删除分区元数据	Boolean	否	-	在中止操作期间是否从配置单元元存储中删除分区元数据的标志。注意：这只会影响元存储中的元数据，分区中的数据将始终被删除（同步过程中生成的数据）。
可选参数	-	否	-	其他参数，用户可以根据需求进行配置。

FAQ

Q1: 可以同时使用Inceptor输入组件和Hive输入组件吗？
A1：不可以，Inceptor和Hive加载的驱动不一样，故同一个作业模型中不能同时出现Hive 和Inceptor的Source、Sink组件。