[发明专利]一种基于大数据技术的专利数据采集系统

说明书

本发明涉及专利数据采集技术领域，且公开了一种基于大数据技术的专利数据采集系统，包括：在专利采集管理服务器的专利采集管理系统上制定专利大数据采集任务，专利采集管理服务器调用专利采集云服务器集群中的专利采集云节点服务器S_i，专利采集云节点服务器S_i采用网络爬虫根据专利大数据采集任务去抓取Hidden Web网页服务器内的相对应的专利大数据，网络爬虫将所抓取的专利大数据返回到专利采集云节点服务器S_i内；专利采集云服务器集群中的专利采集云节点服务器S_i的调用管理系统采用零知识证明的验证方法对专利采集管理服务器的身份进行验证。本发明解决了未经授权的服务器非法调用专利采集云服务器集群中的节点服务器的问题。

技术领域

本发明涉及专利数据采集技术领域，具体为一种基于大数据技术的专利数据采集系统。

背景技术

专利信息资源是首选的竞争情报资源，它蕴含着巨大的知识存量。充分挖掘和利用专利信息有助于技术人员改进现有技术，发现新的技术领域。然而当前专利数量急剧增长，依靠人工手段寻找有用专利信息，并进行快速有效的专利分析，犹如大海捞针般费时费力。

考虑到专利信息深藏于Web专利库中，一般采用部署有网络爬虫的服务器集群从存储有专利大数据并支持访问和下载的Hidden Web网页服务器中抓取专利大数据，而在实际运行过程中服务器集群中的节点服务器存在被非法调用的风险。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供一种基于大数据技术的专利数据采集系统，以解决未经授权的服务器非法调用专利采集云服务器集群中的节点服务器的问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：

一种基于大数据技术的专利数据采集系统，包括：运行有专利采集管理系统软件的专利采集管理服务器，运行有调用管理系统且部署有网络爬虫的专利采集云服务器集群，以及存储有专利大数据并支持访问和下载的Hidden Web网页服务器；

所述的专利采集云服务器集群由专利采集云节点服务器S₁、专利采集云节点服务器S₂、专利采集云节点服务器S₃，…，专利采集云节点服务器S_n组成；

在专利采集管理服务器的专利采集管理系统上制定专利大数据采集任务，专利采集管理服务器调用专利采集云服务器集群中的专利采集云节点服务器S_i，专利采集云节点服务器S_i采用网络爬虫根据专利大数据采集任务去抓取Hidden Web网页服务器内的相对应的专利大数据，网络爬虫将所抓取的专利大数据返回到专利采集云节点服务器S_i内；

专利采集云服务器集群中的专利采集云节点服务器S_i的调用管理系统采用零知识证明的验证方法对专利采集管理服务器的身份进行验证，其交互验证方法，包括以下步骤：

步骤一：专利采集管理服务器在专利采集云节点服务器S_i的调用管理系统上进行用户注册，具体包括：

(1)调用管理系统在注册页面上弹出与专利采集管理服务器进行交互式通信的对话框；

(2)专利采集管理服务器随机选择两个大素数p_i和q_i，计算n_i＝p_i×q_i和专利采集管理服务器随机选择素数e_i，使计算出使(d_i,n_i)＝1；将n_i和e_i传送给调用管理系统，即输入到对话框内；