[发明专利]基于知识图谱的字段级的数据血缘确定方法及装置

说明书

本公开涉及基于知识图谱的字段级的数据血缘确定方法及装置，包括：获取第一数据表对中两个数据表各自的表名和表结构信息；第一数据表对包括数据库中的任意两个数据表；计算第一数据表对中两个数据表的表名之间的第一表名相似度，以及计算表结构信息中字段之间的相似度，得到第一字段相似度矩阵；根据第一表名相似度、第一字段相似度矩阵和预先获取的目标权值，确定第一数据表对中两个数据表之间是否具有血缘关系；获取多个具有血缘关系的第一数据表对作为目标数据表对；根据知识图谱和目标数据表对中数据表之间的血缘关系，生成字段级的数据关系图谱。本公开能够降低确定数据表的血缘关系的难度，提升血缘关系的确定准确性。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种基于知识图谱的字段级的数据血缘确定方法及装置。

背景技术

数据血缘(Data Lineage)是指数据产生的链路，它用于描述一张表依赖哪些其他表，以及表内字段的生成是如何依赖其他表的字段的。通过数据血缘可以清楚地知道数据生产的上下游依赖关系。当企业的业务种类繁多、业务体量很大的时候，支撑业务的整个数据库系统会涉及成百上千张表，表与表之间会形成非常复杂的依赖关系。

如果业务变更比较频繁、开发周期短、人员流动高，随着时间流逝，表结构和表依赖关系可能会频繁发生变化，最终导致表与表之间关联关系变得复杂且难以追溯。常见的依赖关系都是数据表和生产任务之间的依赖，对于生产任务具体用到了上游数据表中的哪些字段只有在编码逻辑中才能体现，例如，数据库A或者A部门将更新的数据文件保存到指定目录，通过FTP(File Transfer Protocol，文件传输协议)或其他同步方式发送给数据库B，数据库B调用代码对数据文件进行解析，经过对若干字段的一系列计算，将最终计算的结果插入数据库B中，用于更新已经存在的字段或保存为新字段，具体计算过程是无法暴露给数据使用方的。拥有数据的企业请外部软件服务提供商执行数据治理任务时，往往只向外部合作方提供表头、数据字典等信息，外部合作方难以获得表格产生、变迁历史的中间过程记录，而数据库审计日志也难以体现全部中间处理流程。

执行数据治理任务时首先需要理清依赖关系，以便清楚一个上游数据的变化会影响到哪些下游数据。如何不依赖中间处理过程记录甚至审计日志，就能获得准确的数据血缘关系，成为一个亟待解决的难题。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种基于知识图谱的字段级的数据血缘确定方法及装置。

本公开提供了一种基于知识图谱的字段级的数据血缘确定方法，包括：获取第一数据表对中两个数据表各自的表名和表结构信息；其中，所述第一数据表对包括数据库中的任意两个数据表；所述表结构信息包括多个字段；计算所述第一数据表对中两个数据表的表名之间的第一表名相似度；计算所述第一数据表对中两个数据表的表结构信息中字段之间的相似度，得到第一字段相似度矩阵；根据所述第一表名相似度、所述第一字段相似度矩阵和预先获取的目标权值，确定所述第一数据表对中两个数据表之间是否具有血缘关系；获取多个目标数据表对；所述目标数据表对用于表示：确定两个数据表之间具有血缘关系的所述第一数据表对；根据知识图谱和所述目标数据表对中数据表之间的血缘关系，生成字段级的数据关系图谱；其中，所述数据关系图谱包括：信息节点、数据流转线路和数据归档销毁规则节点。

进一步，所述第一数据表对包括：第一数据表和第二数据表；所述计算所述第一数据表对中两个数据表的表结构信息中字段之间的相似度，得到第一字段相似度矩阵，包括：根据所述第一数据表的表结构信息中任一字段的字段名、字段类型和字段长度，以及所述第二数据表的表结构信息中任一字段的字段名、字段类型和字段长度，逐一计算所述第一数据表任一字段与所述第二数据表任一字段的相似度，得到第一字段相似度矩阵。