[发明专利]一种基于通用百科网站的领域百科构建系统

说明书

技术领域

本发明涉及一种基于通用百科网站的领域百科构建系统，属于开放知识抽取技术领域。

背景技术

如今，很多在线百科类网站，如百度百科、Wikipedia等近年来不断出现，它们极大地方便了用户获得信息。用户可以在上面通过内置的搜索引擎搜索所需要的信息。通常来说，当一个用户查询一个实体时，他常常对与该实体相关的实体感兴趣，或者搜索的目的就直接是与一个实体相关的所有实体，例如希望搜索到和复旦大学相关的所有人物。而现在的百科类网站中，并不能实现这一目的，例如搜索和复旦大学相关的所有人物，只能在复旦大学对应的网页中，自己查找其中出现的人物，并自己判断是否是与复旦大学相关，并浏览，或者直接查找含有“复旦大学”标签的实体，并筛选出其中是人物的实体。这些方法都不能快速且完整地找出所需实体，因此迫切需要一个领域百科来供查询一个领域下的所有实体，即与领域实体相关的所有实体。

当前存在一些人工构建的领域百科，不仅费时费力，而且数据正在呈爆炸式的增长，人工构建的速度将无法追赶上数据增长的速度，因为急需一种机器自动构建的方法。

发明内容

本发明针对现在有百科数据知识零散，而人工构建领域百科代价过高，不能大量构建的缺点，提出了一种基于通用百科网站的领域百科构建系统。利用本发明的系统进行领域百科网站构建时，其首先利用分布式网络爬虫将互联网上的开放百科网站数据爬取到本地，然后对所爬取的数据进行预处理，使数据能够更好地被利用，之后再针对特定领域，搜索与之相关的实体词条，并进行相关度排序、聚类。

本发明提供的一种基于通用百科网站的领域百科构建系统，由四大模块组成：百科数据爬取模块、百科数据预处理模块、相关实体搜索及排序模块、实体聚类模块；其中：

百科数据爬取模块，利用分布式网络爬虫将海量在线百科数据爬取到本地；

百科数据预处理模块，对网络爬虫所爬取到的页面预处理；所述预处理依次包括去噪、文字区域提取、分词及词频处理统计和构建索引这几个步骤；

相关实体搜索及排序模块，在预处理后的页面中搜索和一个领域相关的实体并按相关度排序；

实体聚类模块，根据相关实体搜索及排序模块结果，聚类同一个领域下的相似实体。

本发明的技术方案具体介绍如下。

一、百科数据爬取模块

1.1利用分布式网络爬虫爬取在线百科数据

网络爬虫，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。利用网络爬虫，可以自动爬取指定网站的数据。由于本发明需要用到海量地在线百科数据以构建出高质量的领域百科，因此利用分布式地爬虫来高效地爬取海量的在线百科数据。

二、百科数据预处理模块

2.1去噪子模块

利用网络爬虫所爬取到的页面，往往是页面的源文件，里面有很多的噪声，如各种html 标签，标点符号，乱码等。这些噪声将严重地影响数据的有效利用，因此需要将数据中的噪声去除，用预先定义好的一些正则表达式匹配噪声数据，并将它们删除。经过去噪处理的数据，质量比没有经过去噪处理的数据有显著的提高。

2.2文字区域提取子模块

本发明充分利用百科页面中各个文字区域的特点，将文字按区域提取。所谓文字区域是指一个百科页面中的标题、摘要、属性框(infobox)、正文和分类信息等。这些文字区域各有其特点，不能一概而论，要区别对待，例如对一个领域实体“复旦大学”，那些实体页面的标题中包含“复旦大学”的实体将与“复旦大学”密切相关，如“复旦大学计算机科学技术学院”。又例如，如果一个实体的摘要中包含了“复旦大学”，那么该实体将比那些仅在正文中包含“复旦大学”的实体与“复旦大学”的关系更为紧密。因此，不同的文字区域的重要性是不一样的，这正是符合用户写实体词条页面的习惯，例如通常来说会把重要的信息写在摘要中，如果现代战争实体词条页面的摘要中出现了领域实体，则该实体与领域实体很有可能是密切相关的。为了充分利用不通文字区域的重要性不同，本发明在数据预处理后，对每个实体词条页面按标题、摘要、infobox、正文、分类信息这些区域提取出其中的文本数据。