[发明专利]信息采集的方法和装置

说明书

本发明提供一种信息采集的方法和装置。一种信息采集的方法，包括：接收从处理中心分发的信息采集任务；根据信息采集任务启动一个或多个浏览器进程，并且在启动一个或多个浏览器进程的过程中加载模拟行为模板；从处理中心接收待采集信息的目标网页的统一资源定位符URL；根据所接收的URL，对目标网页进行渲染，并且获得目标网页的页面渲染状态；根据URL的类型，确定是否需要在目标网页上配置所加载的模拟行为模板；响应于确定需要配置模拟行为模板，在目标网页上触发模拟行为模板中所定义的功能；以及对目标网页进行解析并且将解析结果回传到处理中心的云存储。

技术领域

本发明涉及计算机领域，特别涉及一种信息采集的方法和装置。

背景技术

网络信息采集，是利用网络机器人(俗称网络爬虫)，在互联网上，按照一种提前约定的规范、协议，自动搜集互联网上的信息的一套程序。可以采用不同的采集算法，根据不同的场景有深度优先算法，广度优先算法或者两者结合使用，拓扑出整个Internet网站的信息。

目前随着服务器硬件、网络带宽等资源优化提升，各个站点前端技术的丰富化，网页的加载量消耗带宽、流量增加，多数都是采用了展示信息的延时异步加载、懒加载等方式，效果是为了在不影响页面的响应速度的前提下，丰富页面内容，提升用户的体验度。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

当下主流网站的网页结构复杂，许多重要的信息例如价格、评论等，均是异步请求，延时加载渲染。常规的信息采集方式不能获取这些内容，做不到所见即所得。此外，常规的信息采集方式定制化差，没有人工操作行为的加入，很容易被目标网页的各种机器学习算法识别为非人工操作，从而被目标网页禁止访问或需要增加登录次数，导致信息采集的失败。

发明内容

有鉴于此，本发明实施例提供了一种信息采集方法和装置。

本发明的实施方案能够在常规无核浏览器信息采集(网络爬虫)的基础上，灵活地增加人工行为的模拟操作，例如点击、登录、翻页、刷新、下拉滚动、全屏操作、鼠标滑过某个元素、滚动条下拉、鼠标移动停留等等，从而满足目标网页中所设置的各种类型的埋点的要求，能够加载更多需要点击才能展现的信息，并且在多次发起访问请求的时候，可以真正做到所见即所得，降低被禁止访问的风险。

为实现上述目的，根据本发明实施例的一个方面，提供了一种信息采集的方法，其特征在于，包括：接收从处理中心分发的信息采集任务；根据所述信息采集任务启动一个或多个浏览器进程，并且在启动所述一个或多个浏览器进程的过程中加载模拟行为模板；从所述处理中心接收待采集信息的目标网页的统一资源定位符URL；根据所接收的URL，对所述目标网页进行渲染，并且获得所述目标网页的页面渲染状态；根据所接收的URL的类型，确定是否需要在所述目标网页上配置所加载的模拟行为模板；响应于确定需要配置所述模拟行为模板，在所述目标网页上触发所述模拟行为模板中所定义的功能；以及对所述目标网页进行解析并且将解析结果回传到所述处理中心。

可选地，所述模拟行为模板包括下述中的一个或多个：页面下拉、滚动效果模板；点击、登录效果模板、以及选择效果模板。

可选地，所述模拟行为模板是由信息采集装置预定义的模板。

可选地，所述模拟行为模板是用户自定义的模板。

可选地，通过采用插件可插拔式方式将所述模拟行为模板以插件的形式注入到所述一个或多个浏览器进程，来加载所述模拟行为模板。

可选地，对所述目标网页进行解析并且将解析结果回传到所述处理中心包括：对所述目标网页进行模板适配，以与使得所述目标网页与信息采集装置定义的模板相匹配；根据所述目标网页的不同URL类型，选择对所述目标网页进行解析所使用的规则，并使用所选择的规则对所述目标网页进行解析；以及，基于所述规则生成解析结果，并且将所述解析结果回传到所述处理中心。