SQL组件使用说明

• 组件说明
• 典型使用场景
• 配置项说明
• 使用示例
  • Kafka复杂Json数据写入文件
  • Kafka 到 PostgreSQL 的数据同步示例
  • Kafka 到 PostgreSQL 的数据同步示例(带函数)
• FAQ

组件说明

通过标准 SQL 语句实现复杂的字段计算、数据过滤、多字段关联、聚合等自定义数据处理逻辑，可以替代多个轻量转换组件的组合，适配各类复杂业务需求。

核心逻辑是：将数据流看作一张虚拟表，支持用 SELECT、WHERE、LATERAL VIEW、函数计算 等 SQL 语法操作数据，既能实现轻量转换组件的功能，也能处理它们无法覆盖的复杂场景。

典型使用场景

1、替代多个轻量组件，简化配置

当数据处理需要同时完成字段重命名、过滤、计算等多个操作时，使用 SQL 组件可以用单条 SQL 替代 FieldRename+Filter 等多个组件的组合，大幅简化配置文件。

2、复杂字段计算与函数调用

SQL 组件支持丰富的内置函数（字符串、日期、数值、聚合等），可以实现轻量组件无法完成的复杂计算。

• 日期格式转换与计算：将时间戳 create_time_ts 转换为 yyyy-MM-dd 格式的日期字符串，计算订单距今的天数 days_since_create。
• 字符串复杂处理：提取用户手机号 phone 的归属地前缀（前 3 位），并脱敏中间 4 位。

3、多字段关联与行转列（LATERAL VIEW）

针对数组、JSON 数组等复杂字段，通过 LATERAL VIEW 结合 explode 函数实现行转列，这是轻量组件（如 Split）难以高效实现的场景。

• 解析订单商品数组字段 items（格式：["phone","case","charger"]），将一个订单行拆分为多个商品行。

配置项说明

配置名称	数据类型	是否必填	默认值	描述
节点名称	String	是	SQL	当前创建的节点名称，由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
节点编码	String	是	自动生成	当前创建的节点编码，以此标识此组件，由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
表匹配方式	List	是	正则匹配	两种匹配方式：正则匹配、精确匹配。 正则匹配：需要输入正则表达式。 精确匹配：需要选择精确匹配的库.表。 两种匹配方式可以同时选择。
查询 SQL	String	是	-	查询SQL是一个简单SQL，支持基本的函数和条件过滤操作，不支持复杂SQL包括：多源表/行JOIN和AGGREGATE操作等。

FAQ