PrimetonDWS

Appearance

安装部署/发布日志/更新日志

更新日志 ​

2026/03/23 V7.2.0 ​

新增特性 ​

  • 数据库初始化脚本支持数据库，包括：
    • 南大通用 GBase 8s（Oracle模式）
    • 人大金仓 KingbaseES V8R6（PostgreSQL模式）
  • IDE 支持回收站：可以将已删除的作业进行还原或彻底删除
  • 数据同步支持数据库，包括：
    • MariaDB
    • MaxCompute
    • TiDB
    • TDSQL（PostgreSQL模式）
    • SAP HANA
    • Redis
    • RocketMQ
    • S3
    • MinIO
    • Vastbase（海量数据库）
  • 数据同步 CDC Source支持 TiDB 数据库
  • 数据同步转换组件，包括：
    • DefineSinkType
    • FieldRename
    • TableFilter
    • TableMerge
    • TableRename
  • 数据同步Source/Sink组件支持多表，包括：
    • ClickHouse
    • Doris
    • MaxCompute
    • StarRocks
    • 关系型数据库
  • 数据同步转换组件支持多表，包括：
    • Copy
    • DefineSinkType
    • FiledMapper
    • FieldRename
    • Filter
    • FilterRowKind
    • JsonPath
    • Replace
    • Split
    • SQL
    • TableFilter
    • TableMerge
    • TableRename
  • 数据同步 StarRocks Sink 建表策略支持，包括：
    • 主键表 (Primary Key table)
    • 明细表 (Duplicate Key table)
    • 聚合表 (Aggregate table)
    • 更新表 (Unique Key table)
  • 数据同步 Doris Sink 建表策略支持，包括：
    • 主键表 (Primary Key table)
    • 明细表 (Duplicate Key table)
    • 聚合表 (Aggregate table)
  • 数据加工支持数据库，包括：
    • HDFS
    • MariaDB
    • MinIO
    • TiDB
    • TDSQL（PostgreSQL模式）
    • SAP HANA等数据库
    • S3
    • Vastbase（海量数据库）
  • 数据加工组件支持，包括：
    • HBase查询
    • 流查询
  • 数据加工文件输入组件（TXT、Excel、CSV、JSON、XML）支持配置并读取远程文件（HDFS、MinIO、S3）
  • 通用模板支持数据库，包括：
    • Inceptor（星环）
    • MariaDB
    • MaxCompute
    • TiDB
    • TDSQL（PostgreSQL模式）
    • SAP HANA
    • Vastbase（海量数据库）
  • 通用模板新支持的模板，包括
    • StarRocks 到 Hive（时间戳）
    • Doris 到 Hive（时间戳）
  • 程序：Seatunnel程序
  • SQL 程序支持数据库，包括：
    • MariaDB
    • MaxCompute
    • SAP HANA
    • TDSQL（PostgreSQL模式）
    • TiDB
    • Vastbase（海量数据库）
  • SQL 程序支持内容差异比对 Diff、编辑器键入关键字提示
  • SQL 客户端支持数据库，包括
    • MariaDB
    • MaxCompute
    • SAP HANA
    • TDSQL（PostgreSQL模式）
    • TiDB
    • Vastbase（海量数据库）
  • SQL客户端支持 AI 助手：
    • 基于自然语言的AI助手进行数据库操作
    • 生成SQL语句
    • SQL语句优化
    • SQL语句纠错
  • 文件管理客户端支持 HDFS、S3、MinIO等文件/对象存储的浏览、上传、下载
  • 血缘分析及血缘地图支持数据库，包括：
    • MariaDB
    • MaxCompute
    • MinIO
    • TDSQL（PostgreSQL 模式）
    • TiDB
    • Redis
    • RocketMQ
    • S3
    • SAP HANA
    • Vastbase（海量数据库）
  • 数据建模支持数据库，包括：
    • MariaDB
    • TDSQL（PostgreSQL模式）
    • TiDB
    • SAP HANA
    • Vastbase（海量数据库）

优化特性 ​

  • EOS 升级到 8.5.0，统一使用EOS的租户能力实现资源的共享与隔离
  • 调度引擎内核升级
  • 数据同步引擎内核升级
  • 数据加工引擎内核升级
  • 易用性
    • IDE 资源树上复制作业或作业流时，可以指定新名称、路径
    • IDE 进行作业开发时，组件配置弹窗可以退拽移动
    • 血缘分析异常环的展示更加明显
    • 血缘关系的表可以输入表名/Path进行搜索定位
    • 数据地图的血缘任务，表，等互相跳转时，以选项卡的模式打开，无需在菜单中反复跳转，易于对比查看
  • 功能性
    • SQL 客户端导出数据支持更多格式，如：Excel、TXT、JSON、XML、SQL
    • IDE 通用配置支持配置全局参数/命名参数/本地参数配置（常量、内置参数、衍生参数）
    • 数据同步 FieldMapper 组件支持字段映射：同名映射、转大写、转小写、源表驼峰转下划线大写、源表驼峰转下划线小写、统一前缀、统一后缀、正则替换
    • 数据同步 CDC、Doris、StarRocks、Maxcompute 等 Source 组件支持指定获取字段后的排序规则：元数据的字段位置、字段名称升序/降序
    • 数据同步支持配置 JVM 参数(Xms、Xmx)（客户端生效）
    • 数据加工 HBase 输入组件支持从字段中获取过滤条件
    • 数据加工输入组件支持指定获取字段后的排序规则：元数据的字段位置、字段名称升序/降序
    • 数据加工关系型数据库输入组件可以分别获取表、视图，并显示注释信息
  • 性能
    • 重构了血缘分析的底层实现逻辑，提升了血缘分析的效率、准确率及安全性
    • 提升了进行数据开发过程中组件选择数据库表很多时（15万+）浏览器的性能
  • 体验
    • 公共资源的 SQL 客户端以独立微服务运行，便于部署、维护
    • 提升了 SQL 编辑器关键字自动提示的美观性、交互性
    • 提升了 IDE 数据源的美观性及交互体验
  • 丰富在线文档内容、补充 FAQ

Bugfixed ​

  • 截至2026年03月15日修复 7.1.0 版已知问题 52 个，参见：补丁列表

2025/05/30 V7.1.0 ​

新增特性 ​

  • 数据库初始化脚本支持 SQL Server
  • 项目配置新支持的功能：
  • 任务组配置：为项目添加配置任务组
    • 环境配置：为项目添加配置 worker 环境
    • 项目参数管理：管理对整个项目下的所有任务节点都有效的参数
    • 当公共资源数据源配置信息发生变化时支持一键同步作业中已配置的数据源信息
  • 数据同步支持Doris、HighGo（瀚高）、OceanBase、UXDB（优炫）、XuguDB（虚谷）等数据库
  • 数据同步支持LLM Transform（大模型）
  • 数据加工支持Doris、HighGo（瀚高）、OceanBase、UXDB（优炫）、XuguDB（虚谷）等数据库
  • 通用模板支持Doris、HighGo（瀚高）、OceanBase、UXDB（优炫）、XuguDB（虚谷）等数据库
  • 通用模板新支持的模板
    • Doris到关系型数据库同步（全量、时间戳增量）
    • 关系型数据库到Doris同步（全量、时间戳增量）
    • Doris到Doris同步（全量、时间戳增量）
    • Doris到Hive同步（时间戳增量）
    • 关系型数据库到主数据同步（全量、时间戳增量）
    • Hive 到关系型数据库同步（时间戳增量）
  • 通用模板新支持的配置项：
    • 同步配置支持三种大小写转换配置（表名、字段名）：不转换、转大写、转小写
    • 同步配置支持四种表添加模式：重新创建表、表不存在时创建、表不存在时报告错误、忽略对表的处理
    • 同步配置支持三种数据添加模式：同步前删除数据、追加数据、数据存在时报告错误
  • SQL 程序支持Doris、HighGo（瀚高）、OceanBase、UXDB（优炫）、XuguDB（虚谷）等数据库
  • IDE 通用配置新支持的配置项：任务组、任务组优先级、环境
  • SQL 客户端Doris、HighGo（瀚高）、OceanBase、UXDB（优炫）、XuguDB（虚谷）等数据库
  • 数据建模支持HighGo（瀚高）、OceanBase、UXDB（优炫）、XuguDB（虚谷）等数据库
  • 新增数据运维相关功能：
    • 血缘地图：支持定位查找并图形化展示作业的上下游依赖，数据源、表、字段血统、影响、全链血缘关系
    • 作业流管理：支持任务血缘分析，表、字段血缘分析
    • 任务管理：支持表、字段血缘分析
    • 血缘任务管理：管理血缘分析任务，以图形化、列表方式展示正在进行和已经完成的血缘分析状态及结果，支持批量分析、重新分析、停止分析等。
  • 调度引擎管理》执行资源配置相关功能：
    • 环境管理：管理一个 worker 的多个环境。在任务执行时，可以将任务分配给指定 worker 分组，根据 worker 分组选择对应的环境，最终由该组中的 worker 节点执行环境后执行该任务
    • 任务组管理：用于控制任务实例并发。针对不同项目，可以配置对应的任务组，并配置任务在任务组内的优先级
  • DI 客户端支持下发策略配置：
    • WAITING：一直等待资源，直到有资源可用
    • REJECT：资源不足时，直接拒绝，任务失败
    • RETRY：支持配置重试次数，重试，重试失败之后拒绝执行，任务失败

优化特性 ​

  • EOS 升级到 8.3.3
  • DWS 介质的后端、前端介质独立，部署更加便捷
  • 数据同步引擎内核升级
  • 调度引擎注册优化：引擎编码与调度引擎配置文件中的 instanceName 保持一致并校验
  • 项目支持卡片方式展示，既美观，又简洁
  • 血缘地图、血缘分析的界面更加美观、易用
  • 数据同步的关系型 Source 可以选择视图
  • 数据加工组件优化：
    • MongoDB输入、输出组件优化，大大提升了性能
    • SFTP 下载组件，支持文件夹递归下载
    • 文件输入组件（文本文件输入、CSV输入、Excel输入、JSON输入、XML输入），数据源选择 HDFS时，过滤显示对应组件的文件类型
  • 作业流，同一个作业流画布，节点不允许引用相同的任务（已经选过的节点置灰不允许再选择）
  • 试运行，增加“补数”配置项
  • SQL程序/Shell程序/Python程序，支持批量导入
  • 组件配置字段映射时支持最大化/最小化视窗
  • 在线文档增加示例、FAQ

Bugfixed ​

  • 截至2025年05月30日修复 7.0.2 版已知问题 36 个，参见：补丁列表

2024/11/21 V7.0.2 ​

新增特性 ​

  • IDE 新增数据血缘分析，图形化展示模型的表、字段血缘关系分析，支持分析的模型包括：数据同步、数据加工、通用模板、SQL程序、作业流
  • 新增数据建模功能，包括：
    • 字段数据类型管理：全局共有（初始化内置，只读）、项目私有（增、删、改、查）
    • 在线建模：目录（文件夹）管理、单表建模、保存、版本管理、预览 DDL
    • ER 图浏览：图形化展示模型 ER 图
    • DDL 脚本生成：单个模型生成 DDL、基于模型最新版本/历史版本生成 DDL
    • DDL 执行：单模型执行、多模型执行、查看执行历史、查看执行日志、失败重试
  • 新增公共资源管理相关功能，包括：
    • 系统管理，包括：新增、编辑、删除、查询
    • 存算引擎，包括：SAP、ArgoDB、RabbitMQ、Hyperbase
    • 调度引擎的注册类型支持 jdbc（默认）和 ZooKeeper 两种注册方式
      • jdbc注册方式：注册方式选择“jdbc”时则无需部署 ZooKeeper，系统中的 MasterServer 和 WorkerServer 节点都存储在数据库中
      • ZooKeeper注册方式：是一个高性能分布式协调服务，其主要用于解决单点故障，系统中的 MasterServer 和 WorkerServer 节点都通过 ZooKeeper 来进行集群管理和容错，还进行事件监听和分布式锁。
    • 数据源客户端的查询（SQL编辑器），包括：SQL 执行历史（当前打开的查询SQL、当前数据源）、执行任务（当前数据源正在执行中的所有表查询、视图查询、查询SQL、导出、停止）
  • IDE 新增数据同步组件：RabbitMQ Source、ArgoDB Sink、Hyperbase Sink、JsonPath Transform
  • IDE 新增数据加工组件：
    • 输入组件：Access 输入、ArgoDB 输入、Hyperbase 输入、SAP 输入
    • 输出组件：ArgoDB 输出、Hyperbase 输出、MongoDB 输出
    • 数据仓库组件：维度查询/更新组件、联合查询/更新组件
    • 数据清洗组件：脱敏规则、转换规则、加密规则、解密规则、生成数据规则、自定义清洗规则
    • 编排组件：OSS 下载
  • IDE 新增基于 Seatunnel 的增量同步模板作业：基于时间戳的关系型数据库到关系型数据库、基于时间戳的关系型数据库到Hive、CDC-Oracle
  • IDE 新增 Python 程序
  • 新增运维中心相关功能，包括：审计日志、运维大盘支持开发环境资源统计及监控、作业流关联关系血缘分析及展示
  • 新增 DWS SDK，包括：模板作业的创建、修改、删除；作业/作业流的调度、执行、监控、日志、查询
  • 新增公共资源 SDK，包括：数据层、存算引擎、数据源、元数据获取、主题、数据租户、系统等

优化特性 ​

  • EOS 升级到 8.3.2
  • 调度引擎内核升级
  • DI引擎改为常驻进程，大幅提升作业并发性能
  • 数据同步作业Streaming作业类型支持保存点恢复
  • 优化了通用模板选择数据源、表的操作和批量启动/禁用同步的操作，提升了易用性及美观性
  • 优化了IDE资源操作的易用性，包括：取消数据层跨层访问资源的限制、数据层及资源全部展示、可以拖拽节点作业、程序、作业流到画布、优化画布操作（画布内的节点支持复制、支持给画布添加注释、支持画布框选多个组件、支持画布操作的快捷键等）、试运行可以图形化展示执行状态及结果、试运行日志简化并高亮显示日志级别
  • DWS Server集群模式下投产资源包支持数据库共享存储，单节点模式支持本地存储（默认配置）
  • 在线文档增加示例、FAQ

Bugfixed ​

  • 截至2024年11月15日修复 LA2 版已知问题 38 个，参见：补丁列表

2024/05/07 V7.0LA2 ​

新增特性 ​

  • 产品初始化脚本支持DM、PostgreSQL、openGauss、Oracle
  • 支持Inceptor、openGauss、Oscar、Neo4j、通用 JDBC存算引擎及数据源，通过Generic JDBC存算引擎能快速接入更多关系型数据库
  • SQL客户端支持数据库、表、视图、索引、触发器、存储过程等属性的查看，支持SQL语句执行/停止等；SQL编辑器语法高亮、提示、自动补全（数据库/Schema、表、视图、字段）；支持10种关系型数据库（MySQL、SQL Server、Oracle、PostgreSQL、DB2、达梦、openGauss、GBase、Oscar、人大金仓）、4种大数据库（Hive、Inceptor、StarRocks、ClickHouse）
  • 数据租户管理、数据租户资源配置（调度引擎、数据源、租户管理员、成员、主题）
  • 数据集成组件：Inceptor 输入、Inceptor 输出、StarRocks输入、StarRocks输出、Kafka输出、MongoDB输入、PARQUET输出、Web服务查询
  • 数据同步组件：CDC Source、Hive Source、Inceptor Source、Inceptor Sink、LocalFile Source、LocalFile Sink、Neo4j Source、Neo4j Sink
  • 基于 Seatunnel 的全量同步模板作业：关系型数据库到关系型数据库、关系型数据库到Hive、StarRocks到StarRocks、StarRocks到关系型数据库、关系型数据库到StarRocks、StarRocks到Hive、StarRocks到MongoDB
  • 基于PDI的全量同步通用模板作业：关系型数据库到StarRocks、StarRocks到StarRocks、StarRocks到关系型数据库、StarRocks到Hive
  • 基于PDI的增量量同步通用模板作业：时间戳关系型数据库到StarRocks、时间戳StarRocks到StarRocks、时间戳StarRocks到关系型数据库、时间戳StarRocks到Hive
  • 实时任务数据量查看

优化特性 ​

  • 海豚核心引擎升级
  • Seatunnel 核心引擎升级
  • 作业调度、项目配置的菜单优化为可以通过AFCenter进行维护、配置、赋权
  • 通用模板向导页面美化，更加直观
  • 在线文档增加示例、FAQ

Bugfixed ​