[发明专利]一种智能的政策信息采集和查询方法及其系统

说明书

本发明涉及计算机人工智能数据处理技术领域，公开了一种智能的政策信息采集和查询方法，包括了S1：网络爬虫工具抓取全国各地政府网站上与科技政策有关的网页内容和附件，并将抓取到的网页内容和附件存储到Elasticsearch服务器中；S2：政策定时调度模块从Elasticsearch服务器获取网页内容和附件并存放到高企云政策库；S3：文件内容提取模块将高企云政策库的网页内容和附件进行分析和提取，并整合到Solr服务器中；S4：用户使用高企云搜索从Solr服务器中获取政策内容，本发明还公开了一种智能的政策信息采集和查询系统，本发明通过设置内容提取模块使得系统可以对政策信息附件的内容进行提取，便于用户对科技政策的快速查询。

技术领域

本发明涉及计算机人工智能数据处理技术领域，特别是一种智能的政策信息采集和查询方法及其系统。

背景技术

近几年，为增强企业自主创新能力，提高科技创新水平，国家、省、市区政府先后出台了一系列支持企业科技创新、成果转化、创新创业的政策。为打破政府部门之间存在的信息孤岛和数据分割的局面，方便用户快速了解最新的、所有的政策通知，国内一些科技政策服务平台把这些分布在各区域政府网站上的政策采集整理到一个平台上，并按区域、文件类型进行分类展示，这样可以省去用户到不同网站查看政策的麻烦，节省不少时间。

当前的科技政策服务平台可以满足基本的一站式政策查询，但是对于想要快速系统性地了解某个行业或产业政策以及企业已获政策扶持信息的功能还有待完善。因为当前的科技政策服务平台只是对各政府网站政策通知正文内容进行采集和对所附附件进行直接转发，并未对所附附件内容进行相关的文字处理，而多数有效详细的政策信息和公示信息又均在附件中列出，导致实际使用中输入关键词不能有效识别筛选出所有有用的政策文件，仍需要逐个下载附件打开进行查看，这样比较费时费力，不便于为各类用户提供不同视角的政策分析统计和快速了解企业已获政策扶持信息等。此外，有些政务网站发布的政策通知为加密文档，不可直接复制粘贴使用，这也给用户带来了一定麻烦。

发明内容

本发明的目的在于提供一种智能的政策信息采集和查询方法及其系统，以解决现有技术不能对政策附件进行有效提取的问题。

为实现上述技术目的，达到上述技术效果，本发明公开了一种智能的政策信息采集和查询方法，包括以下步骤：

S1：网络爬虫模块抓取全国各地政府网站上与科技政策有关的网页内容和附件，并将抓取到的网页内容和附件存储到Elasticsearch服务器中；

S2：政策定时调度模块从Elasticsearch服务器获取网页内容和附件并存放到高企云政策库；

S3：文件内容提取模块将高企云政策库的网页内容和附件进行分析和提取，并整合到Solr服务器中；

S4：用户使用高企云搜索从Solr服务器中获取政策内容。

进一步，所述的网络爬虫模块爬取网页内容过程S1流程如下：

S11：爬虫获取初始的URL，从初始的URL开始爬取网页内容；

S12：爬取的网页内容和附件存储到Elasticsearch服务器中，爬取到URL放入任务调度服务器的优先级队列中；

S13：然后再对优先级队列中的URL进行再一次的爬取并重复上述步骤；

S14：当满足系统设置的条件停止爬虫。

进一步，所述的网页附件内容的提取过程S3流程如下：

S21：下载中心单元从高企云政策库下载网页内容和附件；

S22：文件检查单元对网页附件类型进行检测，并将附件传给相应文件格式的解析器；