快速入门指南

数据质量检核快速入门

数据源维护

提示

1.本产品不提供非开源数据库驱动，若需要使用请放置驱动至{Primeton_DataCatalogCube_7.1LA_Server解压包}/lib目录下。

2.数据质量管理平台采用自建数据源通过数据源直连方式读取数据库数据，自建数据源类型主要包括DB类型、hive类型等，具体操作步骤请见下列示例介绍。
  1. 登录AFCenter,点击数据质量，单击左侧导航菜单的“数据源管理>数据源维护”页面，点击“新增”按钮。

image-20221009152133143

  1. 在“新增数据源”页面填写数据源名称、数据源地址、用户名、密码，选择驱动、数据源类型，点击“测试连接”确认是否连接成功。

image-20221009152421331

  1. 点击“保存”显示如下。

image-20221009152840206

指标信息维护

提示

1.指标信息维护支持指标维度查询，新增一、二、三级指标信息，修改一、二、三级指标和删除一、二、三级指标操作。

2. 当一级指标下存在二级指标时，删除一级指标会连带二级指标一同删除。

3.二、三级指标在新增页面可以关联告警信息。
  1. 在左侧导航菜单点击“质量定义>指标信息维护”页面，点击“新增指标”, 新增一个一级指标。

image-20221009155334911

  1. .在“新增指标”页面输入指标代码、指标名称、选择质量维度后点击“保存”。

image-20221009155553236

  1. 保存后页面显示如下。

image-20221009160642318

频度管理

提示

频度管理主要为检核任务提供定时调度的频度参数，检核任务启动后可以按照频度设置时间执行检核任务。频度管理中可选择一次性、分钟、小时、天等多种时间频度设置。
  1. 在左侧导航菜单点击“质量调度>频度管理”页面，点击“新增”

image-20221009162128572

  1. 在"新增频度"页面选择频度类型，此处选择为“每分钟”间隔时间设置为7分钟。即每七分钟执行一次。

image-20221009162306269

  1. 点击"保存"显示如下。可以点击右侧“修改”对设置的频度进行修改，点击“删除”删除改频度信息。

image-20221009162353315

检核任务管理

提示

1.检核任务主要为检核规则提供执行载体，检核规则都需通过检核任务来执行。

2.检核任务管理支持检核任务信息查询、新增检核任务、删除检核任务、修改检核任务、启用检核任务、停用检核任务、立即执行检核任务等操作。

3.查询检核任务可以输入检核任务名称直接查询，也可以通过检核任务类别和调度类型进行模糊查询。删除检核任务，该任务需是停用状态，否则不能删除。
  1. 单击左侧导航树上的“质量调度> 检核任务管理”，在“检核任务管理”页面点击“新增”。

image-20221009162614868

  1. 在“新增检核任务”页面，填写检核任务名称、选择频度名称、任务类型等点击“保存”。
提示

1. 任务类型主要有表检核任务、通用检核任务、Hive检核任务、HBase检核任务。

2. 调度时间必须为未来时间。

3. 不选择日历时按照调度时间执行，若选择日历会按照日历时间执行。

4. 点击启动按钮，保存后检核任务为启动状态。

image-20221009162914704

  1. 保存后如下图所示。

image-20221009163014591

说明

1.如果任务没有到达调度时间，但需要立即执行，点击“立即执行”即可。

2.需要修改任务时点击“修改”，如果任务正在启用状态，则需要停用再进行修改。

新建检核规则

提示

创建检核规则有两种方式：

1.新增检核规则：选择数据源及字段，在页面创建一条检核规则。

2.检核规则导入：下载检核模板，通过Excel批量导入检核规则。

新增检核规则

  1. 点击左侧导航树“质量定义 > 检核规则管理”页面，点击”新增”。

image-20221009170552823

  1. .在“新增检核规则”页面，输入后点击“保存”。
说明

页面输入信息详情：

1. 输入规则名称。

2. 选择规则类型

3. 配置数据源

4. 配置数据库

5. 选择指定的指标

6. 选择是否启用

7. 指定负责人

8. 可以分配规则分组

9. 选择表，指定字段

10. 选择对应规则范围（也可配置过滤条件）

11. 配置结果显示字段

12. 可以选择告警规则，也可选择通知方式（邮箱，微信，钉钉)

66538915448

66538918592

66538921597

66538924756

  1. 保存后页面显示如下

66538927728

  1. 在操作列表点击选择检核规则点击“操作”按钮，可以将资源状态变更为“启用”状态。同时可以点击“修改”、“停用”、“删除”对该检核规则进行修改、停用、删除。

66538930244

  1. 在左侧导航树点击“质量监控> 检核规则监控”页面，点击“立即执行”检核规则执行成功。

66538935667

  1. 在左侧导航树点击“质量结果> 检核结果”页面显示错误率、结果、状态、检核时间等信息，点击“预览数据”可以查看检核出的数据。

66538942131

66538945413

检核规则导入

  1. 点击“检核规则导入”，在模板页面选择模板下载。

66538990919

  1. 下载模板页面如图所示。

66538993683

  1. 使用Excel打开模板页面。页面有“检核规则信息”、“指标类型”、“检核任务信息”、“数据源信息”、“责任人信息”sheet页。其中“检核规则信息”页面是用户需要填写，供参考sheet页的信息可以选择复制到“检核规则信息”sheet页对应列中。

66538980764

  1. 保存后，单击左侧导航树点击“质量定义 > 检核规则管理”页面，点击”检核规则导入>上传”。

66539016506

  1. 上传成功后页面显示检核规则，在右侧点击按钮下拉列表点击“启用”启用该检核规则，也可以勾选多条导入数据点击“启用”检核规则同时被启用。

66545152895

  1. 单击左侧导航树点击“质量监控> 检核规则监控”页面，点击操作“立即执行”

66545170334

  1. 单击左侧导航树的“质量结果> 检核结果”页面，点击右侧“预览数据”查看检核数据。

66545262738

66545266540

检核结果

  1. 点击左侧导航树“质量结果 > 检核结果”，单条检核规则页面显示检核规则名称、检核资源、检核项、检核任务名称、执行类型、数据源名称、质量维度、状态、检核时间、结果/总量、错误率、问题描述及预览数据、转问题操作。

66539039243

  1. 点击右侧“预览数据”页面显示当前检核总量及检核问题总量，默认显示前10条数据，点击“预览下载”查看预览数据，点击“全量下载”显示所有数据。

66539043398

  1. 返回“检核结果”页面，点击下拉列表显示“转问题”，点击“转问题”对检核数据进行反馈。在“转问题”页面默认显示问题资源、问题字段、责任人、问题描述信息，输入“问题名称”后点击“保存”。

66539048506

  1. 点击“保存”后后页面显示如下。

66539059069

  1. 点击“检核结果”页面的“添加反馈”

66539114524

  1. 点击左方展开区域可见历史反馈

66539111847

results matching ""

    No results matching ""