PrimetonDWS

Appearance

操作指南/公共资源/存算引擎管理

存算引擎管理 ​

对数据库存储引擎统一进行管理、配置。

点击上方菜单栏“公共资源”，进入公共资源管理界面，点击菜单栏的"存算引擎管理"，进入存算引擎管理界面。

存算引擎管理的功能包括：

点击上方菜单栏“公共资源”，再点击左侧菜单栏的"存算引擎管理"，进入存算引擎管理界面。

存算引擎类型

DWS 支持的存算引擎类型有六类：关系数据库、大数据、文件/对象、NoSQL、消息队列、ERP

类型版本
ArgoDB6.0.3
AnalyticDB MySQL3.0
AnalyticDB PostgreSQL6.0
Clickhouse22.1.3.7
Doris3.0.3
DM(达梦)DM8
Elasticsearch8.1.2
GBase8a(南大通用 )8.3.81.51
GBase8s(南大通用 )8.3.81.51
HBase2.1.0-cdh6.3.2、1.2.0-cdh5.15.2
HDFSHadoop 3.0.0-cdh6.3.2、Hadoop 2.6.0-cdh5.15.2
Hive2.1.1-cdh6.3.2、1.1.0-cdh5.15.2、4.0
HighGo(瀚高)5
Hyperbase9.0
IBM DB29.7
Inceptor3.1.4
Kafka2.13-2.8.2
KingBaseES(人大金仓)V8R3、V8R6
MariaDB3.5.1
MaxCompute3.9.0
MinIO8.5.17
MongoDB4.2.5
MySQL5.7.25、8.0.28
Neo4j4.3.6
OceanBase4.3.4
openGauss2.1.0
Oracle12c、19c
Oscar(神通)7.0.8
PostgreSQL9.6.2、10.23
RabbitMQ3.8.9
Redis3.8.0
RocketMQ4.9.4
S32.31.57
SAP HANA2.23.10
SAPecc6.0
SQL Server2012、2016
StarRocks3.0.3
TDSQL（PostgreSQL模式）42.3.4
TiDB8.0.20
UXDB(优炫)2.1
Vastbase（海量）42.3.4
XuguDB(虚谷)12.0.0

具体如下图所示，其中：通过 Generic JDBC 存算引擎能快速接入更多关系型数据库，目前只支持数据加工作业的「关系型数据库输入/输出组件」。

存算引擎类型存算引擎类型

新建存算引擎 ​

点击【+新建存算引擎】按钮，弹出"存算引擎配置"界面。

以新建"MySQL"存算引擎为例，选择"MySQL"，点击【下一步】按钮，按照页面要求录入存算引擎参数配置。

新增存算引擎

新增存算引擎

为确保存算引擎的可用性，可以点击【开始测试】按钮进行连通性测试。

点击【确定】按钮，完成新建存算引擎的操作。

点击【确定并配置数据源】按钮，完成新建存算引擎的操作，可以跳转到配置数据源的页面完成数据源的新建及配置（具体操作参见：数据源管理）。

提示:

新建其他类型存算引擎的操作与本示例中 MySQL 的类似。

配置项说明：

配置项是否必填默认值说明
引擎编码是-存算引擎编码，必填且唯一，不少于3个字符。命名要求字母开头，且仅可以包含字母、数字、-、_。
引擎名称是-存算引擎名称，不可为空，不少于3个字符。
环境选择是-存算引擎所属的环境，从下拉选项选择（数据字典），一个存算引擎可以选择多个环境。
引擎地址是-存算引擎的地址，可以是IP/域名，支持单机、集群配置。
⚠️ 引擎地址不支持服务名。
备注否-存算引擎的备注信息，用于记录用户自定义内容。

修改存算引擎 ​

点击存算引擎列表上的"引擎名称"，弹出"存算引擎详情"弹窗，用户可以根据需求进行参数的修改。

点击【确定】按钮，完成参数的修改、保存。

点击【取消】按钮，取消本次修改操作。

编辑存算引擎

删除存算引擎 ​

点击存算引擎列表后边的【删除】按钮，弹出"删除确认"弹框。

点击弹框的【确认】按钮，完成删除操作。若当前删除的存算引擎已经被数据源引用，则提示：数据源引擎 [xxx] 正在被数据源 [xxx] 使用。不允许删除。

点击弹框的【取消】按钮，取消本次删除操作。

提示:

移除数据源与存算引擎的引用关系后，才能删除存算引擎，即：没有被任何数据源引用过的存算引擎才允许删除。

删除存算引擎

删除存算引擎

搜索 ​

点击存算引擎列表右上方的【高级搜索】按钮，输入搜索条件"引擎名称"或者"引擎类型"，点击【搜索】按钮，可以按照条件完成存算引擎的模糊查询，点击【重置】按钮，可以清空搜索条件。

查询存算引擎

补充说明：Generic JDBC 存算引擎 ​

Generic JDBC 存算引擎能快速接入更多关系型数据库，是通用的关系型数据库 jdbc 连接方式，目前只支持数据加工作业的“关系型数据库输入/输出组件”。

以下以 Generic JDBC 存算引擎创建HANA_SAP数据库类型为例说明使用步骤。

使用方法如下：

一、环境配置

  1. 启用系统外置驱动目录

    • 微服务版（MicroApp）

      a. 修改 AFCenter Server 的 config 目录下的 application-pubresmng.properties，设置 public-resource.database.library.enabled=true 且 public-resource.database.library.path 指向公共资源外置驱动目录。例如

      public-resource.database.library.enabled=true
public-resource.database.library.path=/opt/dws/pubresmng_component/backend/pubresmng_ext_lib

      image-20240515093804485

      b. 启用application-pubresmng.properties配置文件。

      修改 AFCenter Server 的 config 目录下的 application.properties，在 spring.profiles.active 参数值中追加 pubresmng。

      image-20240515094011324

    • 独立版（Standalone）

      Standalone 版默认已经开启了外置驱动，无需修改。

      Primeton_DWS_Standalone/server/dws/config/application-pubresmng.properties 文件中已经启用外置驱动。

      image-20240515094449058

      Primeton_DWS_Standalone/server/dws/config/application.properties 文件中已经启用 application-pubresmng.properties 配置文件。

      image-20240515094338930

  2. 在外置驱动目录下放入要添加的HANA_SAP数据库驱动。

从上面的示例图中可以看出

微服务版外置驱动目录为：/opt/dws/pubresmng_component/backend/pubresmng_ext_lib/；
Standalone版外置驱动目录为：/opt/dws/pubresmng_component/backend/pubresmng_ext_lib/。

进入外置驱动目录下的 jdbc/GenericJdbcDB 目录，并在 GenericJdbcDB 目录下创建驱动版本目录并放入驱动。

cd jdbc/GenericJdbcDB
mkdir 2.10.x
cd 2.10.x
cp /opt/driver/ngdbc-2.10.19.jar .
  1. 重启AFCenter、DWS server服务。

二、创建存算引擎

image-20240515100353288

image-20240515100407422