[发明专利]一种基于决策树算法的专业实体共指消解方法

说明书

一种基于决策树算法的专业实体共指消解方法，其特征在于，包括以下步骤：选取关键词搜索结果数量为P1，使用intitle指令搜索得到的结果页面数P2,搜索结果第一页中网站内页数P3，关键词在搜索结果第一页中出现的次数P4；按照关键词、P1、P2、P3和P4为一条优化数据记录，整理历史优化数据，并对相应的属性进行概化，形成训练数据集；根据训练数据集构建决策树，首先对数据集中的数据应用决策树进行预处理，并形成数据对形式；设定权重，进行相似度值计算，并将相似度值与设定的阈值进行比较。本发明具有很好的处理效果，能够满足处理海量数据中实体共指消解的需求，为实体共指消解提供了有效地保证，实用性强，易于推广。

技术领域

本发明涉及专业实体共指消解方法领域，尤其涉及一种基于决策树算法的专业实体共指消解方法。

背景技术

随着工业自动化和信息科技化的不断进步和发展，工业领域企业中产生了多种类型的大批量数据。结构化、半结构化和非结构化数据以指数级的趋势不断增加，给企业分析和处理并更好地利用数据带来了很大的困难。随着信息时代的来临，各种各样的数据源源不断地产生，实体共指消解面临着新的困难和挑战：(1)数据量急剧增多，计算量和计算难度增加，计算效率也成为一个急需解决的问题；(2)数据源多样，存在多种结构化数据，半结构化和非结构化数据占主导，同时存在着很多噪声数据；(3)数据之间有着复杂的关系，需要更多的信息去辨别不同的实体之间的关系。

现有的方法在很多的应用中能够有效地识别实体，但是仍存在很多的不足： (1)当前，实体共指消解存在重名和异名的问题；(2)传统的实体共指消解方法往往是基于元组的相似性比较来获取结果；(3)对数据质量评估的体系不是很完善。

发明内容

(一)发明目的

为解决背景技术中存在的技术问题，本发明提出一种基于决策树算法的专业实体共指消解方法，很好的处理效果，能够满足处理海量数据中实体共指消解的需求，为实体共指消解提供了有效地保证，实用性强，易于推广。

(二)技术方案

为解决上述问题，本发明提供了一种基于决策树算法的专业实体共指消解方法，包括以下步骤：

S1、选取关键词搜索结果数量为P1，使用intitle指令搜索得到的结果页面数P2,搜索结果第一页中网站内页数P3，关键词在搜索结果第一页中出现的次数P4；

S2、按照关键词、P1、P2、P3和P4为一条优化数据记录，整理历史优化数据，并对相应的属性进行概化，形成训练数据集；

S3、根据训练数据集构建决策树，采用C4.5算法构建出相应的决策树，该决策树等价于一系列规则；

S4、首先对数据集中的数据应用决策树进行预处理，并形成数据对形式。

S5、设定权重，进行相似度值计算，并将相似度值与设定的阈值进行比较；

S6、当达到指定阈值时，进行实体统一，即对所有达到阈值的数据对融合为一条数据；

S7、当未达到指定阈值时，则进行实体汇总，将数据对数据汇总到一起，形成一个新的数据集。

优选的，其特征在于，在S3中，C4.5算法是一种贪心算法，即选择最优的一个属性作为下一阶段的检测属性。

优选的，相似度值计算过程为：

对k个字段分别赋予对应的权重w，且每一个字段的w均不相同；

根据k个wi就可以计算每个实体对的相似度，其公式为：

Sim(ei,ej)＝Σ(wi,wj)Σwi,(0<i<n；0<j<n；wi>0；wj>0)；