[发明专利]一种数据资产目录智能构建盘点方法

说明书

本申请提供了一种数据资产目录智能构建盘点方法，涉及数据资产管理技术领域。本申请通过综合利用盘点目录系统操作日志数据、元数据、盘点目录系统数据库数据日志数据、盘点目录系统业务规范描述文档，通过机器学习、知识表示、知识推理、知识融合等技术手段，构建得到展示盘点目录系统数据库表字段与功能对应关系的盘点目录系统功能目录，以及展示盘点目录系统数据库表字段与业务对应关系的盘点目录系统业务目录。以盘点目录系统数据库表字段为基础，对盘点目录系统功能目录和盘点目录系统业务目录进行进一步的知识融合和知识推理处理，即可在确认功能和业务内容的同时生成表字段的字典和对应的元数据，从而得到完整的数据资产目录。

技术领域

本申请涉及数据资产管理技术领域，尤其是涉及一种数据资产目录智能构建盘点方法。

背景技术

由于历史原因、企业信息化建设长周期性的问题，大量企业的业务系统元数据或数据字典都存在错误和缺失现象，导致后续企业数据治理工作难以推进。传统上采用大量的人工操作，难以准确完成大规模的元数据语义和目录识别和验证。系统固有复杂性或数据采集、处理、分析和表述的过程中出现的误差，都会导致人工处理工作急剧增加。如何通过人工智能和自动化手段实现企业内部各个异构业务系统的各种数据资产、元数据目录和数据字典的自动生成、校验，完成数据资产梳理盘点，掌握数据集与字段内容，从而规划数据资产架构，构建统一数据资产目录，掌握数据资产家底，提供数据共享开放，成为各大企业要解决的一个关键问题。

发明内容

本申请的目的在于提供一种数据资产目录智能构建盘点方法，用于解决目前企业系统元数据或数据字典因错误或缺失，从而导致的企业数据治理工作难以快速推进的技术问题。

本申请所提供的数据资产目录智能构建盘点方法，用于盘点目录系统，其具体实施步骤如下：

S1.对盘点目录系统操作日志数据进行检索和机器学习，获得反映盘点目录系统操作日志的操作与日志分类对应关系的功能目录；对功能目录进行知识表示和知识推理，得到完整的系统功能目录图谱；系统功能目录图谱用于反映功能与数据库表的对应关系；

采集盘点目录系统数据库表与表字段结构，并进行知识表示和知识推理，得到完整的数据表图谱；数据表图谱用于反映数据库表和表间关系；

对盘点目录系统业务规范描述文件进行自然语言理解分析，识别业务实体并抽取实体关系，进而通过知识表示和知识推理，得到完整的系统业务数据目录图谱，系统业务数据目录图谱用于反映业务实体和实体关系；

S2.对步骤S1所得的系统功能目录图谱和数据表图谱进行知识融合，用于使两图谱合并，得到盘点目录系统功能目录；盘点目录系统功能目录展示了盘点目录系统数据库表字段与功能的对应关系；

对步骤S1所得的系统业务数据目录图谱和数据表图谱进行知识融合，使两图谱合并，得到盘点目录系统业务目录；盘点目录系统业务目录展示了盘点目录系统数据库表字段与业务的对应关系；

S3.对步骤S2盘点目录系统功能目录和盘点目录系统业务目录进行知识融合和知识推理，构建得到功能目录与业务目录校验模型；功能目录与业务目录校验模型用于识别表字段对应的功能和业务内容，并在确认功能和业务内容的同时生成表字段的字典和对应的元数据，从而得到完整的数据资产目录。

其中，步骤S3具体包括：

D1.采用图示模型分别对步骤S2得到的盘点目录系统功能目录和盘点目录系统业务目录进行节点分类、链接预测、社群检测和网络相似度的机器学习，获得盘点目录系统功能目录对应的功能视图及特征向量，以及盘点目录系统业务目录对应的业务视图及特征向量；

D2.采用多视图聚类算法融合步骤D1得到的功能视图的特征向量和业务视图的特征向量，并使用BIRCH算法进行聚合，获得并确认实体对齐后的实体名和对齐关系；