[发明专利]一种多源科创资源数据采集方法

说明书

本发明公开了一种多源科创资源数据采集方法，包括爬虫模块、路由模块和动态页面解析模块；爬虫模块是指一个爬虫模块的集群中，会包含多个爬虫模块，爬虫模块主要的两个功能是页面下载和页面信息提取；路由模块的主要功能是对整个分布式网页爬虫系统进行任务的接受、管理、分发，任务的负载均衡，爬虫服务和动态页面解析服务节点的管理以及系统内心跳包的发送；动态页面解析模块是指以集群的模式针对动态页面进行页面解析，针对多源异构的科创数据，提出了一种多源科创数据的采集方法，满足了科创数据采集所需的数据量足且全面、数据源复杂、时效性等特点，相较于传统数据抓取方法，耗时更短、抓取效率更高，具有较高的鲁棒性。

技术领域

本发明涉及数据处理技术领域，具体为一种多源科创资源数据采集方法。

背景技术

近年来，随着信息与网络技术的高速发展以及我国产业转型升级的不断推进，国家对于科学发展以及科技服务的需求也日益上升，在如今万众创新的时代，以科学高效的理念共享科技创新资源，充分发挥资源优势，已成为推进科技创新的必经之路，尽管我国科技创新资源共享已经取得了跨越式发展，但仍在共享规模、质量和水平等方面存在差距，资源分散、协同不足、市场发育不全，导致了共享服务效率低，质量不佳、环境缺失等问题，科学技术是第一生产力，经济转型、产学研深度融合、科技成果转化等都需要依靠科技的创新；

然而，传统信息化架构难以满足对海量数据的存储、处理和分析需求，形成了大量信息孤岛，使数据采集和数据转换成为难题，与此同时，科创资源涵盖了科技文献、专利成果、技术研报等多种类型，在实际应用中，这些数据结构复杂、主题各异、格式多样，因此针对多源异构数据的采集填报难度较大；

针对目前相关的数据采集填报方法，一是基于人工智能识别、纠错的采集方法和系统（一种基于人工智能的高校招生数据采集方法及系统，公开号CN109960707A，公开日2019.07.02），通过OCR识别模块、人工校对模块、数据入库模块，基于人工智能、机器学习、图像处理、数据挖掘、坐标定位和语义识别的技术方法，对高校招生数据进行深度挖掘和分析，实现智能识别的过程，通过智能纠错模块，实现智能纠错的过程；

但其数据采集范围及采集数据的结构与本发明的方法有本质上的不同，且本发明的采集方法针对复杂多源异构数据的采集融合及结构化处理方面，提出了更为详细、便捷的方法，而目前缺乏该针对科创资源数据的采集方法。

发明内容

本发明提供一种多源科创资源数据采集方法，可以有效解决上述背景技术中提出目前在进行网络数据特征抓取时，存在过程繁琐、误差大的缺陷，进一步，科创资源数据因其特征，也存在结构化程度不统一、主题融合度低、时空分布不一致的问题。

为实现上述目的，本发明提供如下技术方案：1.一种多源科创资源数据采集方法，所述采集方法包括爬虫模块、路由模块和动态页面解析模块；

所述爬虫模块是指一个爬虫模块的集群中，会包含多个爬虫模块，爬虫模块主要的两个功能是页面下载和页面信息提取；

所述路由模块的主要功能是对整个分布式网页爬虫系统进行任务的接受、管理、分发，任务的负载均衡，爬虫服务和动态页面解析服务节点的管理以及系统内心跳包的发送；

所述动态页面解析模块是指以集群的模式针对动态页面进行页面解析；

具体的数据采集方法包括如下步骤：

S1、数据采集阶段；

S2、数据分析阶段；

S3、数据存储阶段；

所述S1中，数据采集阶段包括配置抓取目标、读取解析数据页面和启动信息采集，所述S2中，数据分析阶段包括数据解析、数据规范化处理和数据预处理，所述S3中，数据存储阶段包括数据分类、数据存储和数据反馈；

数据采集阶段在采集过程中基于Dis-Dyn Crawler架构，采用基于面向服务的架构体系，将动态页面处理功能独立出来形成一个单独的服务。