[发明专利]一种数据变更消息的通知方法及装置

说明书

本发明属于大数据技术领域，本发明提供了一种数据变更消息的通知方法及装置，数据变更消息的通知方法包括：根据待通知的数据变更消息所在的数据库中的元数据，生成数据关系图谱；根据数据关系图谱确定所述待通知的数据变更消息的所有目标节点；发送所述待通知的数据变更消息至所述所有目标节点。本发明将任务调用关系和表依赖关系进行融合，构建一个完整的“数据依赖图谱”。基于该“数据依赖图谱”利用图的遍历算法进行变更通知，做到精准通知不遗漏任何一个责任人、控制通知层级一次性通知到位的效果。

技术领域

本发明涉及计算机软件技术领域，特别涉及一种数据变更消息的通知方法及装置。

背景技术

众所周知，数据仓库的数据加工使用了交易系统的生产数据。当生产数据发生变更、业务发展导致数据下线、数据仓库的加工逻辑发生变化等情况发生时，需要及时通知下游数据使用方，以使下游使用方做出相应的处理。现有技术中，变通通知方案为：变更者发起变更通知申请，描述变更内容，按照数据加工任务的调用依赖关系发送给直接下游使用方。

上述方案适用于一般交易系统变更的通知，对数据仓库领域变更存在以下两个问题:

(1)通知范围不全面。数据仓库中为了提高数据产出时效性，或使用的数据源长期不更新等原因，会存在加工任务没有上下游调用关系、但实际使用了加工任务所产出的表的数据情况；按照数据加工任务调用关系通知，即会发生漏通知的情况

(2)通知的层级控制不到位。数据仓库加工深入往往有几十层的调度依赖，针对数据下线情况，将会影响下游所有的数据使用方，一层层通知耗费人力资源。

综上，如何提供一种新的方案，能够对数据仓库的数据变更通知做到全面精准、控制层级，是本领域亟待解决的难题。

发明内容

本发明属于大数据技术领域，根据本发明所提供的数据变更消息的通知方法及装置，能够全面精准、控制层级的进行数据变更信息通知，具体地，本发明将任务调用关系和表依赖关系进行融合，构建一个完整的“数据依赖图谱”。基于该“数据依赖图谱”利用图的遍历算法进行变更通知，做到精准通知不遗漏任何一个责任人、控制通知层级一次性通知到位的效果。

为了实现上述目的，提供了一种数据变更消息的通知方法，包括：

根据待通知的数据变更消息所在的数据库中的元数据，生成数据关系图谱；

根据数据关系图谱确定所述待通知的数据变更消息的所有目标节点；

发送所述待通知的数据变更消息至所述所有目标节点。

优选地，所述根据待通知的数据变更消息所在的数据库中的元数据，生成数据关系图谱，包括：

根据待通知的数据变更消息所在的关系型数据库中的表依赖元数据及/或任务调用元数据，生成数据关系图谱。

优选地，所述根据待通知的数据变更消息所在的关系型数据库中的表依赖元数据及/或任务调用元数据，生成数据关系图谱，包括：

根据所述表依赖元数据及/或任务调用元数据生成所述数据关系图谱的点；

根据所述关系型数据库中各节点之间的关系生成所述数据关系图谱的边；

根据所述表依赖元数据及/或任务调用元数据的对象生成所述点的属性。

优选地，所述根据待通知的数据变更消息所在的关系型数据库中的表依赖元数据及/或任务调用元数据，生成数据关系图谱，还包括

根据所述关系型数据库的表名生成加工任务名；

根据所述表名以及所述加工任务名生成所述数据关系图谱；所述数据关系图谱类型为有向无环图。