Skip to content

Elasticsearch Sink组件使用说明

组件说明

Elasticsearch Sink 连接器用于将数据写入 Elasticsearch 集群,核心能力包括 CDC 支持、动态索引、批量写入与完善的 SSL 安全认证。

配置项说明

配置名称数据类型是否必填默认值描述
节点名称StringElasticsearch当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
节点编码String自动生成当前创建的节点编码,以此标识此组件,由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
选择数据源String-从下拉选项中选择列出的当前项目已经关联的数据源。
索引名称String-Elasticsearch 索引名称,支持 * 模糊匹配。索引名称必须是小写的,不能用下划线开头,不能包含逗号,例如:seatunnel_$
索引类型String-在Elasticsearch 6及以上版本中不建议指定。
主键String-用于生成 document _id 的主键字段,这是 cdc 必需的选项。
分隔符StringINITIAL复合键的分隔符(默认为“_”),例如,以“$”为分隔符,document _id 的结果:“KEY1$KEY2$KEY3”。
最大重试次数Int-请求的最大重试次数
最大批量处理文档数Int-最大批量处理文档的大小。
表添加模式String表不存在时创建对于目标表的情况,处理方式有三种:
- 重新创建表
- 表不存在时创建
- 表不存在时报告错误
- 忽略对表的处理
数据添加模式String追加数据支持三种模式:
1、APPEND_DATA(追加数据):数据统一追加到目标表中;
2、DROP_DATA(同步前删除数据):先清空目标表数据,然后再给目标表添加数据;
3、ERROR_WHEN_DATA_EXISTS(当存在数据时,报告错误):当目标表存在相同数据时,报告错误,不会添加数据。
可选参数Map-其他参数,用户可以根据需求进行配置。

FAQ