FieldMapper 转换组件使用说明

• 组件说明
• 典型使用场景
• 配置项说明
• 使用示例
  • CDC同步关系型数据库示例
  • 将neo4j数据库数据经过处理后写入Kafka
  • StarRocks多表-FiledMapper精确匹配转换多表-同步到Oracle数据库
• FAQ

组件说明

用于在数据处理流程中对字段进行重命名、映射或简单的字段调整，它的核心价值是字段名的映射与重命名。

典型使用场景

1、数据源字段名不统一时的标准化

从 MySQL 读取的字段是 user_id（下划线命名），但写入 Elasticsearch 要求用 userId（驼峰命名）；

不同业务库的同含义字段名不一致（如 order_no / order_id / orderno），需要统一为 order_id；

源数据字段名包含特殊字符（如 user-name），需要替换为合法名称（如 user_name）。

2、精简字段（只保留需要的字段）

当源数据字段过多，而下游只需要部分字段时，可通过 FieldMapper 配合 keep_original_fields = false 实现字段筛选：

比如源数据有 id, name, age, create_time, update_time，下游只需要 id, username, user_age，则映射 name=username、age=user_age，并关闭保留原始字段，最终只保留映射后的字段。

配置项说明

配置名称	数据类型	是否必填	默认值	描述
节点名称	String	是	FieldMapper	当前创建的节点名称，由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
节点编码	String	是	自动生成	当前创建的节点编码，以此标识此组件，由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
表匹配方式	List	是	正则匹配	两种匹配方式：正则匹配、精确匹配。 正则匹配：需要输入正则表达式。 精确匹配：需要选择精确匹配的库.表。 两种匹配方式可以同时选择。
字段映射	List	是	-	指定源字段与目标表字段映射关系。

FAQ