普元数据开发平台
产品介绍
安装部署
FAQ

# 7.0.2升级到7.1.0

# DWS7.1.0默认使用AFC版本为8.3.3，故本次升级需要对AFC从8.3.2升级到8.3.3，公共资源模块从8.3.2.0升级到8.3.3.0。

# 升级所使用脚本根据项目部署的数据库类型进行选择。文档以MySQL作为示例。

# 一、DolphinScheduer 升级

# 1.停止旧服务

停止apache-dolphinscheduler-7.0.2的服务

# 2.升级脚本

重要提醒：升级脚本前备份原有数据库数据

升级脚本来自于介质 apache-dolphinscheduler-7.1.0-bin.tar.gz

在dolphinscheduler所在数据库执行脚本：

  1. apache-dolphinscheduler-7.1.0-bin/tools/sql/DWSupgrade/mysql/7.1.0.sql

其他类型数据库使用 apache-dolphinscheduler-7.1.0-bin/tools/sql/DWSupgrade目录下对应的数据库升级脚本。

# 3.升级程序

  1. 解压介质 apache-dolphinscheduler-7.1.0-bin.tar.gz

  2. 参考DolphinScheduler安装指南部署dolphin新介质。

# 4.启动程序

启动apache-dolphinscheduler-7.1.0的服务。

# 二、AFC8.3.2升级8.3.3

  1. 停止AFC 8.3.2程序。
  2. 升级AFC 数据库。
  3. 部署AFC 8.3.3程序，先不启动。

参考AFC升级手册：

832升级833说明 (opens new window)：http://help.primeton.com/eos/8.3.3/faq_reference/832_upgrade_833.html

# 三、DWS 升级

# 1.停止旧服务

停止 DWS 7.0.2 程序。

# 2. 升级脚本

重要提醒：升级脚本前备份原有数据库数据

以下升级脚本来自于介质 pubresmng_component_v8.3.3.0.zip 和 Primeton_DWS_Server_7.1.0.tar.gz。
本例中约定如下：


    

  • pubresmng_component_v8.3.3.0.zip介质解压在 pubresmng_component 目录下
    • 

  • Primeton_DWS_Server_7.1.0.tar.gz 解压在 dws_server 目录下
    •

  1. 在AFC所在数据库执行以下脚本：

    pubresmng_component/script/upgrade/Mysql/8.3.2.0-8.3.3.0.sql

    dws_server/db-script/dws/upgrade/Mysql/702-710/AFC-upgrade.sql

  2. 在DWS所在数据库执行以下脚本：

    dws_server/db-script/dws/upgrade/Mysql/702-710/DWS-upgrade.sql

# 3.升级程序

  1. 部署 DWS 7.1.0 发布版介质（部署参考MicroApp 版安装）
  2. 部署 Primeton DI（部署参考Primeton DI安装）
  3. 部署 SeaTunnel（部署参考SeaTunnel安装）

# 4.检查修改nginx配置

nginx配置和 7.0.2版本配置相同，可检查以下配置：

  1. 在nginx的配置文件中，增加如下配置 proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "Upgrade";

    image-20240613142048331

    参考如下配置：

    #user  nobody;
worker_processes  1;

events {
    worker_connections  1024;
}


http {
    include /usr/local/nginx/conf.d/*.conf;
    include       mime.types;
    default_type  application/octet-stream;

    sendfile        on;
    keepalive_timeout  65;

    server {
        listen       8082;
        server_name  192.168.16.80;

        charset utf-8;
 	client_max_body_size 500m;

        # AFCenter 前端资源文件，根据实际环境修改路经
        location / {
            root   /opt/dws/dws_ui;
            index  index.html index.htm;
            try_files $uri /index.html;
        }
        
        # AFcenter后端，根据实际环境修改ip和端口
        location /afc {
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Real-Port $remote_port;
            proxy_set_header REMOTE-HOST $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

            proxy_set_header Upgrade $http_upgrade; #此处配置上面定义的变量
            proxy_set_header Connection "Upgrade";
            proxy_pass http://192.168.16.80:13083/;
        }

        # 作业调度后端，根据实际环境修改ip和端口

        location /DWS {
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Real-Port $remote_port;
            proxy_set_header REMOTE-HOST $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            
            charset utf-8;
            proxy_pass http://192.168.16.80:28082/;
            proxy_set_header Host $host;
            proxy_http_version 1.1;
	        proxy_set_header Upgrade $http_upgrade;
	        proxy_set_header Connection "Upgrade";
            proxy_read_timeout 600s;
        }
    
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

    }
}

  2. 重启nginx

    nginx -s reload

# 5. 启动程序

启动AFC 8.3.3及DWS 7.1.0程序。

# 6.同步租户资源

  1. 登录admin账号，进入【应用中心】，选择通用管理->数据导入功能。

    image-20250320105815482

  2. 点击【同步租户资源】，然后点击弹窗内的“同步”按钮。

    image-20250320105840462

  3. 点击同步后，提示同步成功。

    image-20250320105900275

# 7. 新增菜单，页面，功能码等资源的授权

  1. 选择【权限管理】->【角色管理】。选择平台页签，点击选择【租户管理员】角色对应的资源权限数量。 image-20250320143225567

  2. 选择【应用基础门户】->【调度引擎管理】，勾选“功能”中的配置调度引擎资源，并保存。 image-20250320143417385

  3. 选择【数据开发】->【数据运维】，勾选“页面”中的引擎大盘，勾选“功能”中的新增/修改告警组、作业流运行、删除告警策略、查询作业流关联分析、新增告警策略、修改告警策略、作业流上/下线、查询运维大盘、删除告警组、删除作业流定义、作业流定时配置、任务组队列监控、删除作业流实例和修改作业流实例状态，并保存。 image-20250320143417386

  4. 返回【角色管理】。选择平台页签，点击选择【平台管理员】角色对应的资源权限数量。 image-20250408140036114

  5. 选择【应用基础门户】->【应用资源管理】，勾选“功能”中的超级应用管理员权限，并保存。 image-20250320111543945

  6. 选择【数据开发】->【数据运维】，勾选“页面”中的数据开发日志和“功能”中的查询审计日志，并保存。 image-20250408140309035

  7. 返回【角色管理】。选择平台页签，点击选择【数据开发人员】角色对应的资源权限数量。 image-20250320111450171

  8. 选择【应用基础门户】->【应用资源管理】，勾选“功能”中的超级应用管理员权限，并保存。 image-20250320111543945

  9. 选择【数据开发】->【数据运维】，勾选“页面”中的引擎大盘，反勾选“页面”中的运维大盘，勾选“功能”中的查询调度引擎、查询作业流定义、查询作业流实例、查询任务定义、查询任务实例、查询告警组、查询告警策略、查询告警记录、新增/修改告警组、作业流运行、删除告警策略、查询作业流关联分析、新增告警策略、修改告警策略、作业流上/下线、查询运维大盘、删除告警组、删除作业流定义、作业流定时配置、任务组队列监控、删除作业流实例和修改作业流实例状态，并保存。 image-20250320111543946

  10. 选择【数据开发】->【项目列表】，勾选“功能”中的项目创建，并保存。 image-20250320111657263

  11. 返回【角色管理】。选择平台页签，点击选择【数据运维人员】角色对应的资源权限数量。 image-20250320111450172

  12. 选择【应用基础门户】->【应用资源管理】，勾选“功能”中的超级应用管理员权限，并保存。 image-20250320111543945

  13. 选择【数据开发】->【数据运维】，勾选“页面”中的运维大盘，勾选“功能”中的查询调度引擎、查询作业流定义、查询作业流实例、查询任务定义、查询任务实例、查询告警组、查询告警策略、查询告警记录、新增/修改告警组、作业流运行、删除告警策略、查询作业流关联分析、新增告警策略、修改告警策略、作业流上/下线、查询运维大盘、删除告警组、删除作业流定义、作业流定时配置、任务组队列监控、删除作业流实例和修改作业流实例状态，并保存。 image-20250320111657264

  14. 点击【返回】，切换到【业务对象】tab，选择【数据开发】->【数据开发项目】，点击右侧列表中【数据治理项目管理员】的资源权限数量。 image-20250320111830246

  15. 选择【数据开发-项目配置】，勾选“页面”中的项目参数管理、项目环境变量管理和任务组配置，勾选“功能”中的所有，并保存。 image-20250320111905946

  16. 选择【数据开发-数据建模】，勾选“功能”中的数据建模，并保存。

  17. img.png image-20250320111928760

  18. 选择【数据运维-引擎】，勾选“页面”中的任务组管理、血缘任务管理、引擎概览和血缘地图，并保存。 image-20250320111928761

  19. 点击【返回】，点击右侧列表中【数据治理项目开发】的资源权限数量。 image-20250320112043812

  20. 选择【数据开发-项目配置】，勾选“页面”中的项目参数管理、项目环境变量管理和任务组配置，“功能”中的项目资源配置、项目开发和项目导入\导出并保存。 image-20250320112610536

  21. 选择【数据开发-数据建模】，勾选“功能”中的数据建模，并保存。 image-20250320112706799

  22. 选择【数据运维-引擎】，反勾选“页面”中的作业流管理、作业流实例、任务管理和任务实例，并保存。 image-20250320112706789

  23. 点击【返回】，点击右侧列表中【数据治理项目运维】的资源权限数量。 image-20250320112742937

  24. 选择【数据开发-项目配置】，勾选“页面”中的项目参数管理，“功能”中的项目资源配置、项目调度资源查看、项目投产和项目导入\导出，并保存。 image-20250320112742938

  25. 选择【数据开发-数据建模】，反勾选“页面”中的模型字段管理和数据建模，并保存。 image-20250320112742939

  26. 选择【数据运维-引擎】，勾选“页面”中的所有选项，点击保存。 image-20250414154431419 image-20250414154448314

  27. 以上操作执行成功后，即完成DWS程序升级。

# 8. 调度引擎管理升级（必选）

调度引擎中对定时任务相关参数进行了优化，故需要重新保存调度引擎中的注册参数。不需要修改页面参数，重新保存即可。

使用jdbc注册方式和zookeeper注册方式，都需要修改。

image-20241014154251848

# 9. 项目关联数据源刷新（必选）

本次版本对公共资源中数据源变更导致开发的作业中数据源信息与变更后不同步问题进行处理。故每个项目下都需要手动触发如下刷新步骤： image-20250327154716267

如果刷新接口报错，是因为项目绑定的数据源已经在公共资源数据源内被删除，按如下操作清除垃圾数据。

-- 在DWS服务数据库, 参数一是当前项目编码，参数二是从异常信息中获取到的数据源编码
SELECT * FROM DWS_PRJ_R_PROJECT_RESOURCE WHERE PROJECT_CODE = ? AND RESOURCE_ID = ?

image-20250327154716268

# 10. 数据升级（非必选）

DWS7.1.0版本中对Neo4j、MongoDB类型数据源做了优化，若项目中使用了以上两种类型的数据源，则必须重新编辑。

  • Neo4j数据源，新增了认证类型：用户名密码、Kerberos。选择对应的认证类型，编辑保存即可。

    image-20250320145302249

  • MongoDB数据源，将【SSL/TLS连接】和【认证类型】做了拆分，故需要重新编辑。

    • 不使用SSL，选择off

      image-20250320145618570

    • 开启SSL，则选择On，并上传CA证书及Client证书。

      image-20250320145716603

← 数据准备 →