[发明专利]数据元自动识别方法和识别系统

说明书

本发明公开了一种数据元自动识别方法和识别系统，其中识别方法包括1、根据不同行业的标签建立第一级数据元字典；2、ElasticSearch集群根据不同行业的标准数据元建立与行业对应的第二级数据元字典，第二级数据元字典存放于内存中；3、对待识别数据元根据停用词进行切分再根据第一级数据元字典中的叶子节点进行分词；计算分词后的词语与第一级数据元字典中每个子树的相似度，选择相似度大于预设的第一级相似度阈值的子树所对应的行业为第一级识别结果；对第一识别结果中的每个行业对应的第二级数据元字典进行匹配，如匹配成功，根据匹配策略返回识别结果；停用词存储于停用词表中。该方法能够对不同行业的数据元进行有效的自动识别。

技术领域

本发明属于大数据处理技术领域，具体涉及一种数据元的自动识别方法和系统。

背景技术

在大数据爆发的时代，数据的来源有很多形式，一种是存放于传统的关系型数据库中，比如，mysql，oracle，sqlserver等关系型数据库，还有一种是csv或者特定格式的半结构化数据。不同形式的数据，都有会有数据元，这些是数据类型通过定义，标识，表示以及允许值等一系列属性的数据单元。在特定语义环境中被认为是不可再分的最小数据单元。在大数据处理中需要对大量的数据元进行识别，将其识别成某个领域中的标准数据元。对数据元的识别，会将原先杂乱无章毫无描述的数据，变成了统一规范的数据集。有了标准的数据元识别及分类，可以针对不同类别或领域的标准数据元制定不同的数据清洗标准，利用数据元清洗，即可将不符合规范的数据剔除。但是，当前传统的数据元识别方法主要是通过人工录入及比对的方式进行，当有新数据需要进行导入时，手工根据数据列的相关信息进行数据元人工匹配，匹配效率低下且出错率高。

发明内容

发明目的：针对现有技术中存在的问题，本发明公开了一种数据元自动识别方法，该方法能够对不同行业的数据元进行有效的自动识别。

技术方案：本发明一方面公开了一种数据元自动识别方法，包括如下步骤：

(1)根据不同行业的标签建立第一级数据元字典，所述第一级数据元字典中的每一个子树对应一个行业，子树的叶子为行业的标签；

(2)ElasticSearch集群根据不同行业的标准数据元建立与行业对应的第二级数据元字典，所述第二级数据元字典存放于内存中；所述第二级数据元字典包括中文字典、拼音字典、同义词字典、英文字典和英文同义字典；具体包括以下步骤：

(2.1)构建中文字典：

ElasticSearch使用分词插件对标准数据元进行分词，将分词结果存储于mysql数据库的词库表中，定时查询词库表，根据词库表中的词构建或更新中文字典，所述中文字典以词典树的结构存放于内存中；

(2.2)构建拼音字典：

将步骤(1.1)的分词结果映射为拼音词，根据拼音词构建拼音字典；所述拼音词包括：全拼、部分全拼、首字母小写缩写、首字母大写缩写中的一个或多个；所述拼音字典以表的结构存放于内存中，每个拼音词为拼音词表中一个节点；

(2.3)构建同义词字典：

建立词语之间的映射关系存储于数据库表中，所述词语之间的映射关系包括：等价、包含、同义；

定时查询数据库表，根据其中的映射关系构建同义词字典，所述同义词字典采用链表或树来存储数据；

(2.4)构建英文字典：

根据数据元中的空格分隔英文单词，构建英文字典树，并建立英文词语之间的映射关系，构建英文同义词字典；

(3)对待识别数据元根据停用词进行初步切分，再根据第一级数据元字典中的叶子节点进行分词；计算分词后的文本与第一级数据元字典中每个子树的相似度，选择相似度大于预设的第一级相似度阈值的子树所对应的行业为第一级识别结果；