[发明专利]一种智能的政策信息采集和查询方法及其系统

权利要求书

1.一种智能的政策信息采集和查询方法，其特征在于，包括以下步骤：

S1：网络爬虫模块抓取全国各地政府网站上与科技政策有关的网页内容和附件，并将抓取到的网页内容和附件存储到Elasticsearch服务器中；

S2：政策定时调度模块从Elasticsearch服务器获取网页内容和附件并存放到高企云政策库；

S3：文件内容提取模块将高企云政策库的网页内容和附件进行分析和提取，并整合到Solr服务器中；

S4：用户使用高企云搜索从Solr服务器中获取政策内容。

2.如权利要求1所述的一种智能的政策信息采集和查询的方法，其特征在于：所述的网络爬虫模块爬取网页内容过程S1流程如下：

S11：爬虫获取初始的URL，从初始的URL开始爬取网页内容；

S12：爬取的网页内容和附件存储到Elasticsearch服务器中，爬取到URL放入任务调度服务器的优先级队列中；

S13：然后再对优先级队列中的URL进行再一次的爬取并重复上述步骤；

S14：当满足系统设置的条件停止爬虫。

3.如权利要求2所述的一种智能的政策信息采集和查询的方法，其特征在于：所述的网页附件内容的提取过程S3流程如下：

S21：下载中心单元从高企云政策库下载网页内容和附件；

S22：文件检查单元对网页附件类型进行检测，并将附件传给相应文件格式的解析器；

S23：Word文件解析器、Pdf文件解析器、Excel文件解析器和OCR图片提取器分别提前相应格式文件的内容；

S24：压缩文件解压器解压压缩文件并重复S22和S23步骤；

S25：内容整合单元将各种文件解析器提取的文件内容整合并存储到Solr服务器。

4.如权利要求3所述的一种智能的政策信息采集和查询的方法，其特征在于：所述的OCR图片提取器提取图片内容前使用图片预处理模块对图片进行二值化和降噪处理。

5.一种智能政策信息采集和查询系统，采用权利要求1-4所述的任意种采集和查询方法，其特征在于，包括以下模块：

政策采集模块：设有网络爬虫模块，用于采集全国各地政府网站上与科技政策有关的网页内容和附件，并存放到Elasticsearch服务器中；

Elasticsearch服务器：用于存储政策采集模块抓取的网页内容和附件；

政策定时调度模块：用于根据查询的时间段从Elasticsearch服务器获取网页内容和附件并传送给高企云政策库；

高企云政策库：用于存储政策定时调度模块传送的网页内容和附件；

文件内容提取模块：用于高企云政策库的网页附件内容的提取和整合；

Solr服务器：用于存储文件内容提取模块整合的网页附件内容；

高企云搜索：用于根据查询关键字从Solr服务器中获取政策内容。

6.如权利要求5所述的一种智能的政策信息采集和查询系统，其特征在于：所述的网络爬虫模块为定时爬虫工作服务器，所述的网络爬虫模块为WebMagic 爬虫工具。

7.如权利要求6所述的一种智能的政策信息采集和查询系统，其特征在于：所述的文件内容提取模块包括以下单元：

下载中心单元：用于从高企云政策库下载网页内容的和附件；

文件检查单元：用于对网页附件格式进行检测，并将附件传给相应文件格式的解析器；

Word文件解析器：用于对Word文件内容的提取；

Pdf文件解析器：用于对Pdf文件内容的提取；

Excel文件解析器：用于对Excel文件内容的提取；

OCR图片提取器：用于对图片内容的提取；

压缩文件解压器：用于压缩文件的解压，并将解压的文件传给文件检查单元；

内容整合单元：用于将各种文件解析器提取文件内容的整合并存储到Solr服务器。

8.如权利要求7所述的一种智能的政策信息采集和查询系统，其特征在于：OCR图片内容提取器设有图片预处理模块，所述的图片预处理模块用于对图片进行二值化、降噪处理。