[发明专利]数据元自动识别方法和识别系统

权利要求书

1.数据元自动识别方法，其特征在于，包括如下步骤：

(1)根据不同行业的标签建立第一级数据元字典，所述第一级数据元字典中的每一个子树对应一个行业，子树的叶子为行业的标签；

(2)ElasticSearch集群根据不同行业的标准数据元建立与行业对应的第二级数据元字典，所述第二级数据元字典存放于内存中；所述第二级数据元字典包括中文字典、拼音字典、同义词字典、英文字典和英文同义字典；具体包括以下步骤：

(2.1)构建中文字典：

ElasticSearch使用分词插件对标准数据元进行分词，将分词结果存储于mysql数据库的词库表中，定时查询词库表，根据词库表中的词构建或更新中文字典，所述中文字典以词典树的结构存放于内存中；

(2.2)构建拼音字典：

将步骤(2.1)的分词结果映射为拼音词，根据拼音词构建拼音字典；所述拼音词包括：全拼、部分全拼、首字母小写缩写、首字母大写缩写中的一个或多个；所述拼音字典以表的结构存放于内存中，每个拼音词为拼音词表中一个节点；

(2.3)构建同义词字典：

建立词语之间的映射关系存储于数据库表中，所述词语之间的映射关系包括：等价、包含、同义；

定时查询数据库表，根据其中的映射关系构建同义词字典，所述同义词字典采用链表或树来存储数据；

(2.4)构建英文字典：

根据数据元中的空格分隔英文单词，构建英文字典树，并建立英文词语之间的映射关系，构建英文同义字典；

(3)对待识别数据元根据停用词进行初步切分，再根据第一级数据元字典中的叶子节点进行分词；

计算分词后的文本与第一级数据元字典中每个子树的相似度，选择相似度大于预设的第一级相似度阈值的子树所对应的行业为第一级识别结果；

对第一级识别结果中的每个行业对应的第二级数据元字典进行匹配：根据行业A的第二级数据元字典计算分词后的文本中词语的TF-IDF权重，对TF-IDF权重最大的词语与行业A的第二级数据元字典中的词语计算相似度，如果相似度大于预设的相似度阈值，认为待识别数据元与行业A的第二级数据元字典匹配成功；否则，匹配失败；行业A为第一级识别结果中一个元素；

如有匹配成功，根据分词策略返回识别结果，所述识别结果为待识别数据元的行业类别；如均为匹配失败，将待识别数据元设置为匹配异常数据元；

所述停用词存储于停用词表中，所述停用词表存储于mysql数据库中。

2.根据权利要求1所述的数据元自动识别方法，其特征在于，所述第二级数据元字典还包括自定义字典；所述自定义字典中存储用户自定义的词语。

3.根据权利要求1所述的数据元自动识别方法，其特征在于，所述步骤(2)还包括：

(2.6)对第二级数据元字典进行整合，当有新的标准数据元加入时，首先判断对应行业的第二级数据元字典是否存在，如果不存在，在第一级数据元字典中增加对应行业的子树，并按照步骤(2.1)-(2.4)来构建对应行业的第二级数据元字典；如果已存在，对所述新的标准数据元按照其对应行业的第二级数据元字典进行分词，将分词后的结果加入到对应行业的第二级数据元字典中，并合并相同的词。

4.根据权利要求1所述的数据元自动识别方法，其特征在于，还包括对匹配异常的数据元进行处理，包括如下步骤：

(4.1)判断匹配异常数据元的字段类型，标识出属性类别，所述属性类别包括：整型、长整型、字符型、日期类型；

(4.2)如果匹配异常数据元为数值类型，计算匹配异常数据元与每个行业第二级数据元字典的相似度，对所述数据元的数值套用相似度最高的行业的正则表达式，判断是否为行业中的特殊编号；

(4.3)如果匹配异常数据元为字符类型，对所述字符进行中英文分词，并对分词结果集中，进行词性的标注；根据标注的词性和分词的关键字，将此数据元删除或设置为新的标准数据元；

(4.4)如果设置为新的标准数据元，对此数据元按照步骤(1)和步骤(2)建立新的第二级数据元字典，并在第一级数据元字典中增加子树。