[发明专利]一种元数据信息获取方法、系统和计算机可读存储介质

说明书

本发明实施例公开了一种元数据信息获取方法，根据获取的数据源生成待识别数据，所述待识别数据包括：多个行数据和多个列数据；根据预存储的规则对所述待识别数据进行扫描匹配，获得所述数据源的元数据信息，所述元数据信息包括至少一种以下信息：数据结构信息、数据度量信息和数据关系信息。本发明实施例公开了一种元数据信息获取系统和计算机可读存储介质。

技术领域

本发明涉及大数据领域，尤其涉及一种元数据信息获取方法、系统和计算机可读存储介质。

背景技术

在大数据场景中，越来越多的数据被共享，而不是传统的企业内部的数据仓库。针对企业内部数据仓库可以严格定义元数据信息，而在大数据场景中，越来越多的数据来自外部，大家共享的数据开放在平台中。这些数据在结构上、定义上都缺乏统一的描述和标准。

大数据平台场景中的数据的数据格式、数据结构和数据位置有以下几个特点，数据格式：数据以文件格式存放，以某种基础格式，比如每行表示一行数据，字段之间用某用间隔符隔开；数据结构：类型多样，包括结构化、非结构化、半结构化等多种格式；数据位置：大量数据存在于大量异构、不同系统中，甚至不同地域；大量数据整合操作：主要是跨域数据的整合，数据互操作多。然而，目前还没有一种方法可以自动识别数据的元数据。

发明内容

为解决上述技术问题，本发明实施例提供一种元数据信息获取方法、系统和计算机可读存储介质，可以在识别数据的过程中，自动获取如数据字段类型、度量、数据关系等信息，节省了时间，提高了效率。

本发明的技术方案是这样实现的：

本发明实施例提供一种元数据信息获取方法，所述方法包括：

根据获取的数据源生成待识别数据，所述待识别数据包括：多个行数据和多个列数据；

根据预存储的规则对所述待识别数据进行扫描匹配，获得所述数据源的元数据信息，所述元数据信息包括至少一种以下信息：数据结构信息、数据度量信息和数据关系信息。

进一步地，所述预存储的规则中包括：多个匹配规则；所述方法还包括：

在根据预存储的规则对所述待识别数据进行扫描匹配时，在匹配规则日志中记录匹配日志，所述匹配日志包括：所述多个匹配规则中每一个匹配规则的匹配次数、所述多个匹配规则中每一个匹配规则的匹配成功率；

根据所述匹配日志对所述多个匹配规则的匹配先后顺序进行优化。

进一步地，第一行为所述待识别数据中的任意一行数据，对所述待识别数据的第一行进行解析，获得所述数据源的数据结构信息，包括：

从所述待识别数据中第一行第一列开始，依次将所述待识别数据中第一行的每一列的字符与知识库中预存储的匹配规则进行扫描匹配，根据匹配结果获得所述待识别数据的数据结构信息，所述待识别数据的数据结构信息包括：所述待识别数据每一列的字段类型。

进一步地，将所述待识别数据中第一行第一列的字符与知识库中预存储的匹配规则进行扫描匹配获得所述待识别数据第一列的字段类型，包括：

将第一字符与知识库中预存储的第一匹配规则进行扫描匹配，所述第一字符为所述待识别数据中第一行第一列的第一个字符；

当所述第一字符与所述第一匹配规则中第一预存字符相同时，确定所述待识别数据的第一列的分类为第一分类，根据所述第一行第一列的全部字符的数值范围确定所述第一列的字段类型，所述第一分类包括：数字分类或时间戳分类；

当所述第一字符与所述第一匹配规则中第一预存字符不同时，将所述第一字符与知识库中预存储的第二匹配规则进行扫描匹配；