[发明专利]一种基于多种来源数据集的学者同名排歧方法

说明书

本发明公开一种基于多种来源数据源数据的学者同名排岐方法，所述方法包括以下步骤：(1)从多种来源集成多个数据源数据；(2)进行数据处理，中英文映射；(3)利用处理得到的数据进行图计算并生成知识图谱；(4)针对每个同名作者提取数据强特征值进行模糊匹配，将数据中能够与该字段匹配的数据添加到该字段对应类别；(5)在前一层次聚类的基础上进行弱特征提取，通过知识图谱进行路径查找；(6)计算两个节点之间的相似度，将相似度高于阈值的进行聚类，相似度低于阈值的进行类内判断。(7)针对每个同名作者提取数据强特征值进行复核聚类。(8)最终得到聚合后的知识图谱。

技术领域

本发明属于数据分析、数据挖掘领域，具体的，本发明涉及一种基于多种来源数据集的学者同名排歧方法。

背景技术

当前多家文献检索平台如国内的知网、万方、百度学术，国外的DBLP、谷歌学术等已推出自己的专家学者库，但目前出现的问题是：当学者库需要计算学者影响力、论文数等信息时，同名学者难以准确的区分，这样势必会影响其他信息计算的准确性，因此，如何降低这种由于重名现象所造成的影响，发挥专家知识库的最大效能，成为研究者关注的问题。于是，“同名排歧”开始被提出，并且吸引了大批专家学者的关注。所谓“同名排歧”，简单的讲就是把给定的同一作者名字的文章集合划分为若干类，使得每一类内的文章的作者是同一个人。

结合论文的多种属性特征，对于同名排歧的方法根据依赖训练数据的程度主要有监督学习和无监督学习这两种方式，有监督学习主要是指基于概率模型的方法，该方法准确率较高，但对于海量数据的训练需要大量人工标注，耗时耗力，且伴随时间的推进，数据迭代迅速，有监督学习存在移植性差的问题。无监督学习方式主要是指图论、聚类以及基于约束的方法。该方法可以实现较高的精度，但召回率相对较低。相对于有指导的同名排歧方法，无监督的方法最大的优点在于不需要大量的训练数据以及训练时间。在大规模数据上，无指导的算法比有指导的算法更加具有可行性和可扩展性。

本发明公开的方法选择无监督的学习方式，先根据一些强特征值，尽可能的合并准确率较高的同名作者，扩大同名作者的基数，并在较大的同名作者基数上，提取弱特征值进行合并。在保证准确率的前提下，尽可能的提高召回率。

发明内容

本发明的目的在于，为解决检索系统在搜索学者时，所产生的同名歧义问题，提出一种基于多种来源数据集的学者同名排岐方法，能过尽可能准确的将同名学者进行聚类，进一步提高检索的准确性。

所诉技术方案如下：

一种基于多种来源数据源数据的学者同名排岐方法，包括以下步骤：

从多种来源集成多个数据源数据；

对所述数据源数据进行查重、数据规范、中英文映射；

利用处理得到的数据进行图计算并生成知识图谱；

针对每个同名作者提取数据强特征值进行模糊匹配，将数据中能够与该字段匹配的数据添加到该字段对应类别；

在前一层次聚类的基础上进行弱特征提取，通过知识图谱进行路径查找；

计算两个节点之间的相似度，将相似度高于阈值的进行聚类，相似度低于阈值的进行类内判断。

针对每个同名作者提取数据强特征值进行复核聚类。

最终得到聚合后的知识图谱。

作为优选，从多种来源中获取的数据包括：

动态数据包括：引用次数、下载次数、法律状态；

静态数据包括：标题、作者、摘要、关键词、DOI、分类号、机构、作者代码。

作为优选，利用处理得到的数据进行图计算并生成知识图谱：将每一条处理后不重复的数据看作为一个独立的类别，该类别内各个论文作者以合作者的形式相连接。