[发明专利]一种基于多数据源的论文数据爬取方法及系统

说明书

本发明公开一种基于多数据源的论文数据爬取方法及系统，进行批量关键词论文数据抓取。爬取任务执行前，使用关键词或论文基本信息拼接URL，并将其添加至待抓取队列；执行时，程序分多个子爬取线程，分别从已经经过任务调度算法均衡的多个待爬取队列中取出任务进行源码抓取；执行后，从抓取回的网页源码中解析出所需要的字段，结果存储进数据库中，构建论文数据数据库。相比现有技术，本发明能够提供更高效且全面的论文爬取功能，在服务用户的检索需求时可以快速响应并且将各数据源的查询结果融合展示在用户面前，可以使用户无需对每个数据源的检索结果进行甄别与比对，极大地方便了用户的使用，节约了用户的时间。

技术领域

本发明涉及一种论文爬虫技术的实现方法及系统，具体涉及一种基于多数据源的论文数据爬虫的实现方法及系统，属于信息检索技术领域。

背景技术

大数据技术从兴起之初发展到今日的日益成熟，在各行各业都发挥出巨大的作用；借着大数据的东风而再一次焕发出生命力的人工智能领域近些年更是取得了一个又一个的重大突破，在科研与应用方面创造出了巨大的价值，人们逐渐意识到数据已是当下最重要的资源。

在互联网高度发达的今天，数据的获取已经变得非常便捷。然而，互联网上海量的信息和平台也会对人们造成困扰。以论文数据为例，网络上的几大论文数据网站所拥有的资源并不完全相同，用户在查找文章时，如果只检索单个网站无法检索出所有高价值的论文，如果检索多个网站，用户会在大量检索结果的筛选与比对中耗费时间与精力。

论文数据中蕴含着巨大的价值，结合数据挖掘与机器学习技术，能够从中分析出各学科领域的研究现状、研究热点、趋势变化等信息，也可以用来评估各学校、各机构、各学者的科研水平与实力。因此，为论文数据的获取提供一个全面、高效的爬虫方法是非常必要的。

目前针对网络上数据的采集，主要是使用网络爬虫技术来实现的。自从1993年Matthew Gray实现了首个互联网爬虫Wanders至今，工业界与学术界对于网络爬虫系统的研究从未间断，人们都在追拥有更高数据爬取效率、更强稳定性的网络爬虫系统。邵晓文使用增加程序的线程数量的方式，设计了一种基于Java多线程的并发网络爬虫系统，结合布隆过滤器和Redis缓存技术，实现网络数据的高效采集。王淑芬等人设计实现了一种分布式主题爬虫框架，解决了Hadoop分布式计算平台不适合部署于广域网的问题，利用消息中间件实现分布式可靠通信，利用分布式系统提高爬虫系统的效率。在国外的相关研究中，Md.Abu Kausar等人在爬虫系统的实际中引入了移动代理技术，使得网页源码的分析工作可以在本地完成而无需到远程工作，从而提高了爬虫系统的整体效率。ManishKumar等人则针对爬虫算法进行设计，采用基于查询的方式将关键词传递到URL对应网站的搜索查询界面，旨在最快地获取用户最关心的链接。

在论文数据的采集与应用方面，陈浩设计了一种基于协同过滤算法的论文推荐系统，使用分布式爬虫系统对论文数据论文数据进行抓取，然后使用定制的协同过滤算法计算后将论文推荐给用户。杨超凡等人爬取了ACL、ACMMM、ICML、KDD、SIGIR五个会议的收录论文，对其进行统计分析后，归纳出了信息检索领域的研究热点与研究趋势变化。李斌斌等人以知网为数据源，将爬取到的论文数据使用SPSS等软件进行分析后，进行论文重复发表问题的研究。

然而，关于多数据源融合的论文爬虫技术以及应用方面，国内外的相关研究较少。

发明内容

为了解决现有技术存在的问题，本发明创造性地提出了一种基于多数据源的论文数据论文数据爬取方法及系统，采用多数据源并行的方式使用爬虫程序进行论文数据的抓取，使用任务调度算法进行程序流程的优化，实现将不同数据源的论文数据进行全面、高效抓取的目的。

本发明为了实现上述的技术目的，采用如下的技术方案。

一种基于多数据源的论文数据爬取方法，包括以下步骤：

Step1.获取待抓取任务的关键词，将其组织成任务发送到网页源码抓取模块的待抓取关键词队列；