[发明专利]一种基于决策树算法的专业实体共指消解方法

权利要求书

1.一种基于决策树算法的专业实体共指消解方法，其特征在于，包括以下步骤：

S1、选取关键词搜索结果数量为P1，使用intitle指令搜索得到的结果页面数P2,搜索结果第一页中网站内页数P3，关键词在搜索结果第一页中出现的次数P4；

S2、按照关键词、P1、P2、P3和P4为一条优化数据记录，整理历史优化数据，并对相应的属性进行概化，形成训练数据集；

S3、根据训练数据集构建决策树，采用C4.5算法构建出相应的决策树，该决策树等价于一系列规则；

S4、首先对数据集中的数据应用决策树进行预处理，并形成数据对形式；

S5、设定权重，进行相似度值计算，并将相似度值与设定的阈值进行比较；

S6、当达到指定阈值时，进行实体统一，即对所有达到阈值的数据对融合为一条数据；

S7、当未达到指定阈值时，则进行实体汇总，将数据对数据汇总到一起，形成一个新的数据集。

2.根据权利要求1所述的一种基于决策树算法的专业实体共指消解方法，其特征在于，在S3中，C4.5算法是一种贪心算法，即选择最优的一个属性作为下一阶段的检测属性。

3.根据权利要求1所述的一种基于决策树算法的专业实体共指消解方法，其特征在于，相似度值计算过程为：

对k个字段分别赋予对应的权重w，且每一个字段的w均不相同；

根据k个wi就可以计算每个实体对的相似度，其公式为：

Sim(ei,ej)＝Σ(wi,wj)Σwi,(0<i<n；0<j<n；wi>0；w j>0)；

在上述公式中，ei和ej表示实体对，当它们两个的k字段信息的内容越相近时，则两个实体越接近同一个实体。

4.根据权利要求1所述的一种基于决策树算法的专业实体共指消解方法，其特征在于，实体统一的过程为：对所有达到阈值的数据对进行实体统一，即把相同的实体对融合为一条数据，融合过程是将相同类别的实体对进行合并，形成一个实体统一数据集。