[发明专利]一种网页数据采集方法、装置及系统

说明书

本申请公开了一种网页数据采集方法，例如，该方法可以包括：接收批量采集数据的请求，其中，所述请求携带有目标网址信息；确定所述目标网址信息对应的可成功采集目标数据的采集策略，其中，所述目标网址信息对应的采集策略具体通过对该目标网址信息进行至少包括同步加载测试的目标数据采集测试获得，所述采集策略包括同步加载方式或异步加载方式；根据所述目标网址信息对应的采集策略中设置的同步加载方式或异步加载方式，采取相应的加载方式采集所述目标网址信息指向的网页中的目标数据。另外，本申请还公开了一种网页数据采集装置及系统。

技术领域

本申请涉及互联网领域，尤其涉及一种网页数据采集方法、装置及系统。

背景技术

在网站的SEO(Search Engine Optimization，搜索引擎优化)建设过程中，为了能够准确了解到站点现阶段的总体优化情况，会产生一些对第三方站点或平台的数据采集需求，通过对采集到的各类信息进行分析从而制定下一步的网站优化策略。

目前，主要通过互联网加载第三方站点或平台的网页数据来采集第三方站点或平台的数据。加载网页数据主要包括同步和异步两种加载方式。同步方加载方式，为请求直接返回HTML页面。异步加载方式，在页面返回后，通过加载JS(JavaScript，一种直译式脚本语言)方式改变页面原有结构从而加载出数据。在得到返回的HTML页面之后，可以对HTML页面进行解析，将有用的数据提取分离出来，比如可以抽取出新浪网新闻频道里的某个新闻的标题。

由于制定网站优化策略的数据需求量较大，因此，需要批量采集第三方站点或平台的网页数据。然而，由于不同网页数据加载方式可能不同，为了保证数据采集结果的准确性，只能统一采取异步加载的方式。但是，由于JS执行需要消耗额外的时间，对于本来同步就能加载出的数据会额外消耗大量硬件资源和时间，导致数据采集效率较低。

发明内容

有鉴于此，本申请的目的在于提供一种网页数据采集方法、装置及系统以实现提高数据采集效率的目的。

在本申请实施例的第一个方面，提供了一种网页数据采集方法。例如，该方法可以包括：接收批量采集数据的请求，其中，所述请求携带有目标网址信息；确定所述目标网址信息对应的可成功采集目标数据的采集策略，其中，所述目标网址信息对应的采集策略具体通过对该目标网址信息进行至少包括同步加载测试的目标数据采集测试获得，所述采集策略包括同步加载方式或异步加载方式；根据所述目标网址信息对应的采集策略中设置的同步加载方式或异步加载方式，采取相应的加载方式采集所述目标网址信息指向的网页中的目标数据。

在本申请实施例的第二个方面，提供了一种网页数据采集装置。例如，该装置可以包括：请求接收单元，可以用于接收批量采集数据的请求，其中，所述请求携带有目标网址信息。策略确定单元，可以用于确定所述目标网址信息对应的可成功采集目标数据的采集策略，其中，所述目标网址信息对应的采集策略具体通过对该目标网址信息进行至少包括同步加载测试的目标数据采集测试获得，所述采集策略包括同步加载方式或异步加载方式。采集单元，可以用于根据所述目标网址信息对应的采集策略中设置的同步加载方式或异步加载方式，采取相应的加载方式采集所述目标网址信息指向的网页中的目标数据。

在本申请实施例的第三个方面，提供了一种网页数据采集系统。例如，该系统可以包括：客户端，可以用于发出批量采集数据的请求，其中，所述请求携带有目标网址信息。采集策略配置服务器，可以用于接收客户端发送的批量采集数据的请求，确定所述请求携带的目标网址信息对应的可成功采集目标数据的采集策略，其中，所述目标网址信息对应的采集策略具体通过对该目标网址信息进行至少包括同步加载测试的目标数据采集测试获得，所述采集策略包括同步加载方式或异步加载方式，以及，生成用于根据所述目标网址信息对应的采集策略中设置的同步加载方式或异步加载方式，采取相应的加载方式采集所述目标网址信息指向的网页中的目标数据的采集任务，将所述采集任务分发给采集服务器集群中的采集服务器。采集服务器集群，可以用于接收采集策略配置服务器分发的采集任务，执行所述采集任务，反馈采集到的目标数据。