血缘地图

血缘地图提供定位查找并图形化展示作业的上下游依赖，数据源、表、字段血统、影响、全链血缘关系。

注意

1、使用该功能前请先部署 Neo4j4.4.42（介质中不提供，请自行下载）；
2、在 dws_server/config/application.properties 修改配置开启 neo4j。如果 dws.lineage.enable=false，则血缘相关的功能入口将隐藏。

# 支持查看和管理数据血缘相关功能，配置为false则相关菜单和功能将禁用
dws.lineage.enable=true
# 当前服务器是否处理血缘任务，部署多台服务器时，配置一台启用即可
dws.lineage.analyser-enable=true
# 参考[应用中心-> 应用管理 -> DWS -> OAuth2认证设置]，需要先启动AFC，获取此secret，如果刷新了secret，请更新此值
dws.lineage.secret=b7a75f72567048a78a89c54b23f5240c
# 每次获取分析任务的数量
dws.lineage.task.fetch-size=8
# 可以通过调整此值来控制等待队列的大小,用来提前装载分析任务
dws.lineage.task.waiting-queue-size=4
# 获取分析任务间隔时间，单位毫秒
dws.lineage.task.fetch-interval=1000
# 每次处理分析任务的数量（线程数量）
dws.lineage.task.analyser-size=4
# 缓存任务的分析结果数量,合理控制避免内存溢出,如果flush数据较慢，会暂停消费新的分析任务
dws.lineage.task.result-cache-size=20
# 周期性的flush缓存数据到图库中,单位毫秒
dws.lineage.task.result-flush-interval=10000
# apoc的写入批大小，同时也是全量分析时节点、边的缓存队列大小的配置值 ${result-flush-batch-size} * 1.5
dws.lineage.task.result-flush-batch-size=1000

spring.neo4j.uri=bolt://127.0.0.1:7687
spring.neo4j.authentication.username=neo4j
spring.neo4j.authentication.password=primeton
logging.level.org.springframework.data.neo4j=INFO

该章节涉及的功能：

• 作业流血缘
  • 查看上游
  • 查看下游
  • 查看全链
  • 展开当前任务
  • 查看详情
• 任务血缘
  • 查看上游
  • 查看下游
  • 查看全链
  • 查看详情
  • 异常环
• 表血缘
  • 查看血统
  • 查看影响
  • 查看全链
  • 查看详情
  • 同步表元数据

功能入口

点击左侧菜单“血缘地图”进入血缘地图的主操作页面。

资源导览按照资源类别（作业流、任务、表）进行分类展示，可以快速分类查找资源。数据默认按照最后提交时间倒序排序。

作业流血缘

资源热点从被引用次数和执行实例数两个维度进行计算，即：被引用次数和执行次数多的资源表示热度更高，图标的颜色越红。

点选某个作业流的资源卡片，可以查看该作业流的上游、下游、全链、表血缘。

作业流的资源卡片底部可以展示该作业流引用的其他资源的数量。

查看上游

以该作业流为中心展示该作业流依赖的全部上游作业流。

查看下游

以该作业流为中心展示该作业流依赖的全部下游作业流。

查看全链

以该作业流为中心展示该作业流的依赖全部上游和下游作业流。

展开当前任务

在作业流图标点击右键弹出菜单的【展开当前任务】，可以展示该作业流中引用的任务及引用顺序。

查看详情

在作业流图标点击右键弹出菜单的【查看详情】，可以查看该作业流的详细信息。

任务血缘

查看上游

以该任务为中心展示该任务依赖的全部上游任务。

查看下游

以该任务为中心展示该任务依赖的全部下游任务。

查看全链

以该任务为中心展示该任务的依赖全部上游和下游任务。这种依赖仅仅是血缘上的依赖，存在跨任务的情况。

查看详情

在任务图标点击右键弹出菜单的【查看详情】，可以查看该任务的详细息。

表血缘

点选某个表资源卡片，可以查看该表血缘的血统、影响、全链。

表资源卡片底部可以展示该表被引用的各类任务数量。

查看血统

以该表为中心展示该表的全部血统表。

查看影响

以该表为中心展示该表的全部影响表。

查看全链

以该表为中心展示该表的全部血统表及影响表。

查看详情

在表图标点击表名，可以查看该表的详细信息。

同步表元数据

当用户修改了表结构，而没有同步修改作业中引用该表的配置，会造成已经分析好的血缘关系结果与表元数据不一致，可以用此功能将表元数据更新到血缘分析结果，保持一致。

点击【同步表元数据】按钮，选择多表后，点击【开始同步】按钮可以将数据库表的元数据更新到血缘分析表中。

点击【同步表元数据】按钮后，会出现【开始同步】、【取消同步】按钮，然后点选表卡片，可以选择多个表。

点击对应数据库类型右侧图标上的【同步表元数据】，可以将该类型下的所有表的元数据更新到血缘分析表中。

点击表右侧的【刷新】按钮可以更新同步表元数据的执行状态。

说明:

为了不频繁进行接口调用，执行状态不会实时更新，需要手动点击【刷新】按钮。

异常环

当源表与目标表为同一个数据库表时，从业务上是错误的，血缘分析结果会出现异常环。可以有效排查开发错误的作业。