# 血缘地图
血缘地图提供定位查找并图形化展示作业的上下游依赖,数据源、表、字段血统、影响、全链血缘关系。
注意:
1、使用该功能前请先部署 Neo4j4.4.42(介质中不提供,请自行下载);
2、在 dws_server/config/application.properties 修改配置开启 neo4j。如果 dws.lineage.enable=false,则血缘相关的功能入口将隐藏。
# 支持查看和管理数据血缘相关功能,配置为false则相关菜单和功能将禁用
dws.lineage.enable=true
# 当前服务器是否处理血缘任务,部署多台服务器时,配置一台启用即可
dws.lineage.analyser-enable=true
# 参考[应用中心-> 应用管理 -> DWS -> OAuth2认证设置],需要先启动AFC,获取此secret,如果刷新了secret,请更新此值
dws.lineage.secret=b7a75f72567048a78a89c54b23f5240c
# 每次获取分析任务的数量
dws.lineage.task.fetch-size=8
# 可以通过调整此值来控制等待队列的大小,用来提前装载分析任务
dws.lineage.task.waiting-queue-size=4
# 获取分析任务间隔时间,单位毫秒
dws.lineage.task.fetch-interval=1000
# 每次处理分析任务的数量(线程数量)
dws.lineage.task.analyser-size=4
# 缓存任务的分析结果数量,合理控制避免内存溢出,如果flush数据较慢,会暂停消费新的分析任务
dws.lineage.task.result-cache-size=20
# 周期性的flush缓存数据到图库中,单位毫秒
dws.lineage.task.result-flush-interval=10000
# apoc的写入批大小,同时也是全量分析时节点、边的缓存队列大小的配置值 ${result-flush-batch-size} * 1.5
dws.lineage.task.result-flush-batch-size=1000
spring.neo4j.uri=bolt://127.0.0.1:7687
spring.neo4j.authentication.username=neo4j
spring.neo4j.authentication.password=primeton
logging.level.org.springframework.data.neo4j=INFO
该章节涉及的功能:
# 功能入口
点击左侧菜单“血缘地图”进入血缘地图的主操作页面。
资源导览按照资源类别(作业流、任务、表)进行分类展示,可以快速分类查找资源。数据默认按照最后提交时间倒序排序。
# 作业流血缘
资源热点从被引用次数和执行实例数两个维度进行计算,即:被引用次数和执行次数多的资源表示热度更高,图标的颜色越红。
点选某个作业流的资源卡片,可以查看该作业流的上游、下游、全链、表血缘。
作业流的资源卡片底部可以展示该作业流引用的其他资源的数量。
# 查看上游
以该作业流为中心展示该作业流依赖的全部上游作业流。
# 查看下游
以该作业流为中心展示该作业流依赖的全部下游作业流。
# 查看全链
以该作业流为中心展示该作业流的依赖全部上游和下游作业流。
# 展开当前任务
在作业流图标点击右键弹出菜单的【展开当前任务】,可以展示该作业流中引用的任务及引用顺序。
# 查看详情
在作业流图标点击右键弹出菜单的【查看详情】,可以查看该作业流的详细信息。
# 任务血缘
# 查看上游
以该任务为中心展示该任务依赖的全部上游任务。
# 查看下游
以该任务为中心展示该任务依赖的全部下游任务。
# 查看全链
以该任务为中心展示该任务的依赖全部上游和下游任务。这种依赖仅仅是血缘上的依赖,存在跨任务的情况。
# 查看详情
在任务图标点击右键弹出菜单的【查看详情】,可以查看该任务的详细息。
# 表血缘
点选某个表资源卡片,可以查看该表血缘的血统、影响、全链。
表资源卡片底部可以展示该表被引用的各类任务数量。
# 查看血统
以该表为中心展示该表的全部血统表。
# 查看影响
以该表为中心展示该表的全部影响表。
# 查看全链
以该表为中心展示该表的全部血统表及影响表。
# 查看详情
在表图标点击表名,可以查看该表的详细信息。
# 同步表元数据
当用户修改了表结构,而没有同步修改作业中引用该表的配置,会造成已经分析好的血缘关系结果与表元数据不一致,可以用此功能将表元数据更新到血缘分析结果,保持一致。
点击【同步表元数据】按钮,选择多表后,点击【开始同步】按钮可以将数据库表的元数据更新到血缘分析表中。
点击【同步表元数据】按钮后,会出现【开始同步】、【取消同步】按钮,然后点选表卡片,可以选择多个表。
点击对应数据库类型右侧图标上的【同步表元数据】,可以将该类型下的所有表的元数据更新到血缘分析表中。
点击表右侧的【刷新】按钮可以更新同步表元数据的执行状态。
说明:为了不频繁进行接口调用,执行状态不会实时更新,需要手动点击【刷新】按钮。
# 异常环
当源表与目标表为同一个数据库表时,从业务上是错误的,血缘分析结果会出现异常环。可以有效排查开发错误的作业。