PrimetonDWS

Appearance

安装部署/部署方案/数据开发平台部署方案

数据开发平台部署方案 ​

部署方案概览 ​

普元数据开发平台是分布式环境下的数据应用开发平台，在数字化的时代，面临着各种复杂的应用场景，既要支持面向简单场景的敏捷应用，也要支持多数据形态下海量数据处理的业务场景。针对以上场景普元数据开发平台提供了独立版和微服务版两种部署方案以供参考。

独立版单机（Standalone）部署方案 ​

独立版应用部署方案适用于

  1. 满足小体量（千万级数据量）下快速、便捷的数据开发场景
  2. POC演示，功能体验

组件清单 ​

名称类型说明备注
DWS-Standalone-ServerEOS微服务应用集成AFC的数据开发平台管理门户基于EOS 8的springboot的fatjar包
neo4j图数据库为数据血缘提供底层存储计算能力Neo4j 4.4.42
seatunnel数据处理引擎提供高性能的数据同步、集成能力seatunnel 7.2.0
primeton-di数据处理引擎提供丰富的数据转换、集成能力primeton-di-server 7.2.0
dolphinscheduler任务调度引擎提供分布式的任务调度能力dolphinscheduler 7.2.0

独立版

服务器最低配置

应用规模CPU内存磁盘网络
仅保证可稳定运行少量任务，可供演示使用8C+32G+500G+千兆网络

服务器推荐配置

应用规模CPU内存磁盘网络
支持10+单作业并发处理，日处理数据量累积可达亿级【视数据源类型而定】16C+64G+500G+千兆以上（万兆）网络

独立版本高可用 部署方案 ​

基于独立版本部署高可用环境，借助管理门户Nginx实现负载均衡或者主备高可用，调度引擎以及数据处理引擎通过横向扩容,部署2+节点保证高可用。

组件清单 ​

名称类型说明备注
DWS-Standalone-ServerEOS微服务应用集成AFC的数据开发平台管理门户基于 EOS 8 的 springboot 的 fatjar 包
redis分布式缓存提供给EOS 8的服务与应用的缓存建议用最新稳定版
nginx网络代理服务给EOS8应用的UI静态资源访问和服务代理建议最新稳定版
neo4j图数据库为数据血缘提供底层存储计算能力Neo4j 4.4.42
seatunnel数据处理引擎提供高性能的数据同步、集成能力seatunnel 7.2.0
primeton-di数据处理引擎提供丰富的数据转换、集成能力primeton-di-server 7.2.0
dolphinscheduler任务调度引擎提供分布式的任务调度能力dolphinscheduler 7.2.0

独立版本高可用

服务器推荐配置

应用规模CPU内存磁盘网络节点个数
支持10+单作业并发处理，日处理数据量累积可达亿级【视数据源类型而定】16C+64G+500G+千兆以上（万兆）网络2+

分布式高可用 部署方案 ​

数据开发平台提供支持微服务架构的管理门户、去中心化的调度引擎、数据处理引擎，具备分布式部署能力，提供高可用、高性能的一体化数据开发与运营能力。

组件清单 ​

名称类型说明备注
DWS-Micro-ServerEOS微服务应用基于EOS 8的数据开发平台管理门户基于 EOS 8 的 springboot 的 fatjar 包
AFCenterEOS微服务应用EOS 8提供的开源组织机构与多应用集成管理平台基于 EOS 8 的 springboot 的 fatjar 包
Gatewayspringboot应用EOS 8提供的应用平台网关spring cloud 的 gateway 2.1.5
nacosspringboot应用EOS 8提供的应用平台注册中心阿里云的 nacos 1.3.2
redis分布式缓存提供给EOS 8的服务与应用的缓存建议用最新稳定版
nginx网络代理服务给EOS8应用的UI静态资源访问和服务代理建议最新稳定版
neo4j图数据库为数据血缘提供底层存储计算能力Neo4j 4.4.42
seatunnel数据处理引擎提供高性能的数据同步、集成能力seatunnel 7.2.0
primeton-di数据处理引擎提供丰富的数据转换、集成能力primeton-di-server 7.2.0
dolphinscheduler任务调度引擎提供分布式的任务调度能力dolphinscheduler 7.2.0

分布式高可用版

服务器推荐配置

  • 开发门户配置
组件名称CPU内存磁盘网络节点个数
AFCenter + DWS-Micro-Server + Nginx + Nacos + Redis4C+8G+500G+千兆网络+1+（可以部署多个实现主备或者负载）
Neo4j4C+8G+500G+千兆网络+1+,企业版支持集群部署、开源版本单机部署
  • 调度引擎、数据处理引擎配置
组件名称CPU内存磁盘网络节点个数
dolphinscheduler master + dolphinscheduler alert4C+8G+500G+千兆网络+2+（分布式集群，按需扩展）
dolphinscheduler Worker + di-client + seatunnel client8C+16G+500G+千兆网络+2+（分布式集群，按需扩展，提升数据处理能力）
seatunnel Server8C+32G+500G+千兆网络+2+（分布式集群，按需扩展，提升数据处理能力）
di Server8C+32G+500G+千兆网络+2+（分布式集群，按需扩展，提升数据处理能力）