普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
SDK开发指南
FAQ
  • StarRocks输入组件使用说明
  • 组件说明
  • 配置项说明

# StarRocks输入组件使用说明

  • 组件说明
  • 配置项说明
  • 使用示例
    • 选择StarRocks数据源读取数据

# 组件说明

StarRocks输入组件用于从StarRocks数据库中读取数据。

# 配置项说明

配置名称 数据类型 是否必须 默认值 描述
节点名称 String 是 - 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。
选择数据源 String 是 - 当前输入绑定的数据源名称,从下拉选项中列出的指定的关联类型(StarRocks)的数据源进行选择。
库名称 String 是 - 选定的来源库。
表名称 String 是 - 选定的来源表。
过滤表达式 String 是 - 填写输入字段的过滤信息,例如ds=${bizdate}。输入过滤适用于以下两种场景:1. 固定的某一部分数据。2. 参数过滤。效果相当于sql语句中的where条件
字段设置 - 是 - 点击“获取字段”可获取到来源表中所有的字段及其字段类型。
并行度 Integer 是 30 用于设置执行任务的并行度。
tablet 数量限制 Integer 是 1024 与分区相对应的 StarRocks table 的数量。这个值设置得越小,生成的分区就越多。这将增加引擎方面的并行性,但同时也会给 StarRocks 带来更大的压力。
请求连接超时时间 Integer 是 30000 请求连接超时发送到 StarRocks,单位为毫秒。
查询超时时间 Integer 是 3600 查询 StarRocks 的超时时间,默认值为 1 小时,-1 表示不限制,单位为秒。
查询 keep alive 时间 Integer 是 10 查询任务的持续时间,单位为分钟。默认值值为 10。建议将该参数设置为大于等于 5 的值。
单次读取最大数据行数 Integer 是 1024 一次从 BE 读取的最大数据行数。增加此值可以减少引擎和 StarRocks 之间建立的连接数量,从而减轻网络延迟造成的开销。
单次查询最大内存 Integer 是 2 BE 节点中单个查询允许的最大内存空间,以字节为单位。默认值为2147483648 (2GB)。

← Kafka输入 MongoDB输入 →