[发明专利]基于WEB及GBBoosting算法的人名国别识别方法

说明书

技术领域

本发明属于WEB数据挖掘技术领域，具体涉及一种基于WEB及GBBoosting算法的人名国别识别方法。

背景技术

随着Internet的高速发展和WEB资源的日益丰富，为了从海量的数据信息中快速准确的挖掘需要且有意义的数据，近年来，WEB语义分析技术和文本分类技术在WEB数据挖掘领域得到广泛的应用，基于WEB的应用在某些程度上改变了用户的生活习惯和工作方式，也受到越来越多的广大用户的欢迎与赞赏。

KNN、贝叶斯等分类方法在众多分类领域中取得了良好的分类效果，例如，解梅等人将KNN应用于图像处理领域，提出了一种基于KNN分类算法的MR图像灰度不均匀性校正分割方法(专利号：201010583560.6，公开日：2011.07.27)；杨柳等人将贝叶斯应用于计算机软件领域，提出了一种基于改进贝叶斯分类的短信智能分类及搜索方法(专利号：201310356056.6，公开日：2013.12.04)。但是上述分类方法在人名国别分类场景中的分类准确率有待进一步提高，尤其是在两个国家人名拼写方式相近的情况下，其分类准确率仅仅高于随机猜测。可见上述分类算法在人名国别分类应用中存在极大的局限性。

基于上述分类方法在人名国别分类问题中存在的不足，本发明提出了一种基于Boosting的GBBoosting算法，旨在解决人名国别分类场景中存在的问题，与其他的分类算法相比，其分类准确率和召回率有了较大的提高，尤其是分类两个国家人名拼写方式相近的情况下，性能出色。将GBBoosting算法应用于人名国别、城市国别等识别场景中，进行人名或者城市的国别语义标注，进而应用到火热的社交领域中，具有非常重要的现实意义和广阔的应用前景。

发明内容

有鉴于此，本发明的目的在于提供一种基于WEB及GBBoosting算法的人名国别识别方法，该方法通过WEB数据抽取技术提取高校学者人名，通过构造弱分类器，每个弱分类器对输入样本输出一个弱分类假设，通过所有弱分类器的权重融合构成一个强分类器，最后通过GBBoosting算法识别人名所属的国家。

为达到上述目的，本发明提供如下技术方案：

一种基于WEB及GBBoosting算法的人名国别识别方法，包括以下步骤：步骤一：通过WEB数据抽取技术提取高校学者人名；步骤二：构造GBBoosting算法：构造弱分类器，每个弱分类器对输入样本输出一个弱分类假设，通过所有弱分类器的权重融合构成一个强分类器；步骤三：通过GBBoosting算法识别所属的国别。

进一步，在步骤一中，通过GOOGLE搜索引擎接口得到高校学院页面，然后在学院页面进行语义分析得到学院学者所在页面，最终通过命名实体识别技术和语义分析技术得到抽取页面中的学者信息。

进一步，在步骤二中，弱分类器的构造步骤具体包括：

1）将两种类型的训练文本用向量表示为

2）根据公式计算出两种训练文本的中间向量

3）根据公式计算出中间向量的垂直向量对于任意一个测试向量a_i，如果(w_i·a_i)＞0，则将a_i的标签标记为+1，如果(w_i·a_i)＜0，则将a_i的标签标记为-1；

迭代弱分类器，其权值融合形成强分类器，其具体步骤如下：

首先，给定两个训练集D₁＝(x₁,x₂,...,x_i,...,x_n)，D₂＝(y₁,y₂,...,y_i,...,y_n)，一个测试集D_Test＝(z₁,z₂,...,z_i,...,z_n)，将训练集D1、D2，测试集D_Test，分别表示成向量形式：并分别初始化D₁、D₂，D_Test中的样本权重；