普元数据开发平台
产品介绍
安装部署
FAQ

# 更新日志

# 2025/04/30 V7.1.0

# 新增特性

  • 新增数据库初始化脚本支持 SQL Server
  • 新增支持 Doris 数据库，新支持国产关系型数据库，包括：HighGo（瀚高）、OceanBase、UXDB（优炫）、XuguDB（虚谷），涉及的功能具体如下：
    • 公共资源》存算引擎管理
    • 公共资源》数据源管理
    • 公共资源》SQL客户端
    • 数据建模
    • IDE》数据同步组件》关系型数据库 Source/Sink
    • IDE》数据加工组件》关系型数据库输入/输出
    • IDE》通用模板
    • IDE》SQL 程序
  • 新增数据运维相关功能：
    • 血缘地图：支持定位查找并图形化展示ETL流程的数据走向，作业的上下游依赖，数据源、表、字段血统、影响、全链血缘关系
    • 作业流管理：支持任务血缘分析、表血缘分析
    • 任务管理：支持表血缘分析
    • 血缘任务管理：管理血缘分析任务，以图形化、列表方式展示正在进行和已经完成的血缘分析状态及结果，支持批量分析、重新分析、停止分析等。
  • 新增公共资源管理相关功能：
    • 存算引擎、数据源、SQL客户端支持新的数据库厂商
    • 调度引擎管理》执行资源配置相关功能：
      • 环境管理：管理一个 worker 的多个环境。在任务执行时,可以将任务分配给指定 worker 分组，根据 worker 分组选择对应的环境，最终由该组中的 worker 节点执行环境后执行该任务
      • 任务组管理：用于控制任务实例并发。针对不同项目，可以配置对应的任务组，并配置任务在任务组内运行的优先级
  • IDE 通用配置新支持三种：任务组、任务组优先级、环境
  • IDE 新增数据同步组件：
    • LLM Transform（大模型）：利用大型语言模型 (LLM) 将数据发送到 LLM 并接收生成的结果，来标记、清理、丰富数据、执行数据推理等
    • Doris Source/Sink：支持 Doris 数据的接入、接出
    • 关系型数据库 Source/Sink 支持国产数据库
  • IDE 新增数据加工组件：
    • 输入组件：关系型数据库输入组件支持国产数据库厂商
    • 输出组件：Doris 输出、关系型数据库输出组件支持国产数据库厂商
    • 数据清洗组件：值映射
  • IDE 新增通用模板相关功能：
    • 关系型数据库相关模板支持国产数据库厂商
    • 关系型数据库到Doris全量同步
    • Doris到关系型数据库全量同步
    • Doris到Doris全量同步
    • 关系型数据库到主数据全量同步
    • 时间戳关系型数据库到主数据增量同步
    • 时间戳 Hive 到关系型数据库增量同步
    • 时间戳关系型数据库到Doris增量同步
    • 时间戳Doris到关系型数据库增量同步
    • 时间戳Doris增量同步
    • 时间戳Doris到Hive增量同步
    • 同步配置支持三种大小写转换配置（表名、字段名）：不转换、转大写、转小写
    • 同步配置支持四种表添加模式：重新创建表、表不存在时创建、表不存在时报告错误、忽略对表的处理
    • 同步配置支持三种数据添加模式：同步前删除数据、追加数据、数据存在时报告错误
  • IDE 新增 Procedure 程序
  • 新增项目配置相关功能：
    • 任务组配置：为项目添加配置任务组
    • 环境配置：为项目添加配置 worker 环境
    • 项目参数管理：管理对整个项目下的所有任务节点都有效的参数
    • 数据源配置：当公共资源数据源配置信息发生变化时支持一键同步作业中已配置的数据源信息

# 优化特性

  • EOS 升级到 8.3.3
  • DWS 介质的后端、前端介质独立，部署更加便捷
  • 数据同步引擎内核升级
  • 调度引擎注册优化：引擎编码与调度引擎配置文件中的 instanceName 保持一致并校验
  • 项目支持卡片方式展示，既美观，又简洁
  • 血缘地图、血缘分析的界面更加美观、易用
  • IDE》数据同步的关系型 Source 可以选择视图
  • IDE》数据加工组件优化：
    • MongoDB输入、输出组件优化，大大提升了性能
    • SFTP 下载组件，支持文件夹递归下载
    • 文件输入组件（文本文件输入、CSV输入、Excel输入、JSON输入、XML输入），数据源选择 HDFS时，过滤显示对应组件的文件类型
  • IDE》作业流，同一个作业流画布，节点不允许引用相同的任务（已经选过的节点置灰不允许再选择）
  • IDE》试运行，增加“补数”配置项
  • 在线文档增加示例、FAQ

# Bugfixed

# 2024/11/21 V7.0.2

# 新增特性

  • IDE 新增数据血缘分析，图形化展示模型的表、字段血缘关系分析，支持分析的模型包括：数据同步、数据加工、通用模板、SQL程序、作业流
  • 新增数据建模功能，包括：
    • 字段数据类型管理：全局共有（初始化内置，只读）、项目私有（增、删、改、查）
    • 在线建模：目录（文件夹）管理、单表建模、保存、版本管理、预览 DDL
    • ER 图浏览：图形化展示模型 ER 图
    • DDL 脚本生成：单个模型生成 DDL、基于模型最新版本/历史版本生成 DDL
    • DDL 执行：单模型执行、多模型执行、查看执行历史、查看执行日志、失败重试
  • 新增公共资源管理相关功能，包括：
    • 系统管理，包括：新增、编辑、删除、查询
    • 存算引擎，包括：SAP、ArgoDB、RabbitMQ、Hyperbase
    • 调度引擎的注册类型支持 jdbc（默认）和 ZooKeeper 两种注册方式
      • jdbc注册方式：注册方式选择“jdbc”时则无需部署 ZooKeeper，系统中的 MasterServer 和 WorkerServer 节点都存储在数据库中
      • ZooKeeper注册方式：是一个高性能分布式协调服务，其主要用于解决单点故障，系统中的 MasterServer 和 WorkerServer 节点都通过 ZooKeeper 来进行集群管理和容错，还进行事件监听和分布式锁。
    • 数据源客户端的查询（SQL编辑器），包括：SQL 执行历史（当前打开的查询SQL、当前数据源）、执行任务（当前数据源正在执行中的所有表查询、视图查询、查询SQL、导出、停止）
  • IDE 新增数据同步组件：RabbitMQ Source、ArgoDB Sink、Hyperbase Sink、JsonPath Transform
  • IDE 新增数据加工组件：
    • 输入组件：Access 输入、ArgoDB 输入、Hyperbase 输入、SAP 输入
    • 输出组件：ArgoDB 输出、Hyperbase 输出、MongoDB 输出
    • 数据仓库组件：维度查询/更新组件、联合查询/更新组件
    • 数据清洗组件：脱敏规则、转换规则、加密规则、解密规则、生成数据规则、自定义清洗规则
    • 编排组件：OSS 下载
  • IDE 新增基于 Seatunnel 的增量同步模板作业：基于时间戳的关系型数据库到关系型数据库、基于时间戳的关系型数据库到Hive、CDC-Oracle
  • IDE 新增 Python 程序
  • 新增运维中心相关功能，包括：审计日志、运维大盘支持开发环境资源统计及监控、作业流关联关系血缘分析及展示
  • 新增 DWS SDK，包括：模板作业的创建、修改、删除；作业/作业流的调度、执行、监控、日志、查询
  • 新增公共资源 SDK，包括：数据层、存算引擎、数据源、元数据获取、主题、数据租户、系统等

# 优化特性

  • EOS 升级到 8.3.2
  • 调度引擎内核升级
  • DI引擎改为常驻进程，大幅提升作业并发性能
  • 数据同步作业Streaming作业类型支持保存点恢复
  • 优化了通用模板选择数据源、表的操作和批量启动/禁用同步的操作，提升了易用性及美观性
  • 优化了IDE资源操作的易用性，包括：取消数据层跨层访问资源的限制、数据层及资源全部展示、可以拖拽节点作业、程序、作业流到画布、优化画布操作（画布内的节点支持复制、支持给画布添加注释、支持画布框选多个组件、支持画布操作的快捷键等）、试运行可以图形化展示执行状态及结果、试运行日志简化并高亮显示日志级别
  • DWS Server集群模式下投产资源包支持数据库共享存储，单节点模式支持本地存储（默认配置）
  • 在线文档增加示例、FAQ

# Bugfixed

# 2024/05/07 V7.0LA2

# 新增特性

  • 产品初始化脚本支持DM、PostgreSQL、openGauss、Oracle
  • 支持Inceptor、openGauss、Oscar、Neo4j、通用 JDBC存算引擎及数据源，通过Generic JDBC存算引擎能快速接入更多关系型数据库
  • SQL客户端支持数据库、表、视图、索引、触发器、存储过程等属性的查看，支持SQL语句执行/停止等；SQL编辑器语法高亮、提示、自动补全（数据库/Schema、表、视图、字段）；支持10种关系型数据库（MySQL、SQL Server、Oracle、PostgreSQL、DB2、达梦、openGauss、GBase、Oscar、人大金仓）、4种大数据库（Hive、Inceptor、StarRocks、ClickHouse）
  • 数据租户管理、数据租户资源配置（调度引擎、数据源、租户管理员、成员、主题）
  • 数据集成组件：Inceptor 输入、Inceptor 输出、StarRocks输入、StarRocks输出、Kafka输出、MongoDB输入、PARQUET输出、Web服务查询
  • 数据同步组件：CDC Source、Hive Source、Inceptor Source、Inceptor Sink、LocalFile Source、LocalFile Sink、Neo4j Source、Neo4j Sink
  • 基于 Seatunnel 的全量同步模板作业：关系型数据库到关系型数据库、关系型数据库到Hive、StarRocks到StarRocks、StarRocks到关系型数据库、关系型数据库到StarRocks、StarRocks到Hive、StarRocks到MongoDB
  • 基于PDI的全量同步通用模板作业：关系型数据库到StarRocks、StarRocks到StarRocks、StarRocks到关系型数据库、StarRocks到Hive
  • 基于PDI的增量量同步通用模板作业：时间戳关系型数据库到StarRocks、时间戳StarRocks到StarRocks、时间戳StarRocks到关系型数据库、时间戳StarRocks到Hive
  • 实时任务数据量查看

# 优化特性

  • 海豚核心引擎升级
  • Seatunnel 核心引擎升级
  • 作业调度、项目配置的菜单优化为可以通过AFCenter进行维护、配置、赋权
  • 通用模板向导页面美化，更加直观
  • 在线文档增加示例、FAQ

# Bugfixed

← 介质说明 →