普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
应用集成
FAQ
  • 存算引擎管理
  • 新建存算引擎
  • 修改存算引擎
  • 删除存算引擎
  • 搜索
  • 补充说明:Generic JDBC 存算引擎

# 存算引擎管理

对数据库存储引擎统一进行管理、配置。

点击上方菜单栏“公共资源”,进入公共资源管理界面,点击菜单栏的"存算引擎管理",进入存算引擎管理界面。

存算引擎管理的功能包括:

  • 新建存算引擎
  • 修改存算引擎
  • 删除存算引擎
  • 搜索
  • 补充说明:Generic JDBC存算引擎

DWS 支持的存算引擎类型有五类:关系数据库、大数据、NoSQL、消息队列、ERP

类型 版本
ArgoDB 6.0.3
Clickhouse 22.1.3.7
Doris 5.1
DM(达梦) DM8
Elasticsearch 8.1.2
GBase8s(南大通用 ) 8.3.81.51
HBase 2.1.0-cdh6.3.2、1.2.0-cdh5.15.2
HDFS Hadoop 3.0.0-cdh6.3.2、Hadoop 2.6.0-cdh5.15.2
Hive 2.1.1-cdh6.3.2、1.1.0-cdh5.15.2、4.0
HighGo(瀚高) 5
Hyperbase 9.0
IBM DB2 9.7
Inceptor 3.1.4
Kafka 2.13-2.8.2
KingbaseES(人大金仓) V8R6
MySQL 5.7.25、8.0.28
MongoDB 4.2.5
Neo4j 4.3.6
OceanBase 4.3.4
openGauss 2.1.0
Oracle 12c、19c
Oscar 7.0.8
PostgreSQL 9.6.2、10.23
RabbitMQ 3.8.9
SAP ecc6.0
SQL Server 2012、2016
StarRocks 3.0.3
UXDB(优炫) 2.1
XuguDB(虚谷) 12.0.0

具体如下图所示,其中:通过 Generic JDBC 存算引擎能快速接入更多关系型数据库,目前只支持数据加工作业的“关系型数据库输入/输出组件”。

存算引擎类型 存算引擎类型

# 新建存算引擎

点击【+新建存算引擎】按钮,弹出"存算引擎配置"界面。

新增存算引擎

以新建"MySQL"存算引擎为例,选择"MySQL",点击【下一步】按钮,按照页面要求录入存算引擎参数配置。

新增存算引擎

为确保存算引擎的可用性,可以点击【开始测试】按钮进行连通性测试。

点击【确定】按钮,完成新建存算引擎的操作。

点击【确定并配置数据源】按钮,完成新建存算引擎的操作,可以跳转到配置数据源的页面完成数据源的新建及配置(具体操作参见:数据源管理)。

⚠️ 提示:新建其他类型存算引擎的操作与本示例中 MySQL 的类似。

新增存算引擎

配置项说明:

配置项 是否必填 默认值 说明
引擎编码 是 - 存算引擎编码,必填且唯一,不少于3个字符。命名要求字母开头,且仅可以包含字母、数字、-、_。
引擎名称 是 - 存算引擎名称,不可为空,不少于3个字符。
环境选择 是 - 存算引擎所属的环境,从下拉选项选择(数据字典),一个存算引擎可以选择多个环境。
所属部门 否 存算引擎所属部门,从机构选项进行选择。
所属系统 否 存算引擎所属系统,从下拉选项选择(数据字典)。
引擎地址 是 - 存算引擎的地址,可以是IP/域名,支持单机、集群配置。
⚠️ 引擎地址不支持服务名。
备注 否 - 存算引擎的备注信息,用于记录用户自定义内容。

# 修改存算引擎

点击存算引擎列表上的"引擎名称",弹出"存算引擎详情"弹窗,用户可以根据需求进行参数的修改。

点击【确定】按钮,完成参数的修改、保存。

点击【取消】按钮,取消本次修改操作。

编辑存算引擎

# 删除存算引擎

点击存算引擎列表后边的【删除】按钮,弹出"删除确认"弹框。

点击弹框的【确认】按钮,完成删除操作。若当前删除的存算引擎已经被数据源引用,则提示:数据源引擎 [xxx] 正在被数据源 [xxx] 使用。不允许删除。

点击弹框的【取消】按钮,取消本次删除操作。

⚠️ 提示:移除数据源对存算引擎的引用关系后,才能删除存算引擎,即:没有被任何数据源引用过的存算引擎才允许删除。

删除存算引擎

删除存算引擎

# 搜索

点击存算引擎列表右上方的【高级搜索】按钮,输入搜索条件"引擎名称"或者"引擎类型",点击【搜索】按钮,可以按照条件完成存算引擎的模糊查询,点击【重置】按钮,可以清空搜索条件。

查询存算引擎

# 补充说明:Generic JDBC 存算引擎

Generic JDBC 存算引擎能快速接入更多关系型数据库,是通用的关系型数据库 jdbc 连接方式,目前只支持数据加工作业的“关系型数据库输入/输出组件”。

以下以 Generic JDBC 存算引擎创建HANA_SAP数据库类型为例说明使用步骤。

使用方法如下:

一、环境配置

  1. 启用系统外置驱动目录

    • 微服务版(MicroApp)

      a. 修改 AFCenter Server 的 config 目录下的 application-pubresmng.properties,设置 public-resource.database.library.enabled=true 且 public-resource.database.library.path 指向公共资源外置驱动目录。例如

      public-resource.database.library.enabled=true
      public-resource.database.library.path=/opt/dws/pubresmng_component/backend/pubresmng_ext_lib
      

      image-20240515093804485

      b. 启用application-pubresmng.properties配置文件。

      修改 AFCenter Server 的 config 目录下的 application.properties,在 spring.profiles.active 参数值中追加 pubresmng。

      image-20240515094011324

    • 独立版(Standalone)

      Standalone 版默认已经开启了外置驱动,无需修改。

      Primeton_DWS_Standalone/server/dws/config/application-pubresmng.properties 文件中已经启用外置驱动。

      image-20240515094449058

      Primeton_DWS_Standalone/server/dws/config/application.properties 文件中已经启用 application-pubresmng.properties 配置文件。

      image-20240515094338930

  2. 在外置驱动目录下放入要添加的HANA_SAP数据库驱动。

    从上面的示例图中可以看出,微服务版外置驱动目录为:/opt/dws/pubresmng_component/backend/pubresmng_ext_lib/;standalone版外置驱动目录为:/opt/dws/pubresmng_component/backend/pubresmng_ext_lib/。

    进入外置驱动目录下的jdbc/GenericJdbcDB目录,并在 GenericJdbcDB 目录下创建驱动版本目录并放入驱动。

    cd jdbc/GenericJdbcDB
    mkdir 2.10.x
    cd 2.10.x
    cp /opt/driver/ngdbc-2.10.19.jar .
    
  3. 重启AFCenter、DWS server服务。

二、创建存算引擎

image-20240515100353288

image-20240515100407422

← 数据层管理 数据源管理 →