[发明专利]网页数据爬取方法、装置、网页数据爬取平台及存储介质

说明书

本发明涉及一种网页数据爬取方法。该方法包括获取待爬取网页的网页地址，根据所述待爬取网页的网页地址，获取所述待爬取网页的对应的有效登录数据；根据有效登录数据，从网络地址库中随机选取可用的网络地址；经验证成功后登录所述待爬取网页，并根据与所述待爬取网页相对应的渲染方式渲染所述待爬取网页；爬取已渲染完成的所述待爬取网页获取待爬取网页数据。本发明的网页数据爬取方法、装置、网页数据爬取平台季存储介质，每次登录时都可以随机选取可用的网络地址，从而防止多个账户通过同一个服务器进行登录时，会触发待爬取网页的风控机制，导致服务器被列入黑名单，保证成功登录待爬取网页，进而成功爬取待爬取网页数据，提高可用性。

技术领域

本发明涉及计算机技术领域，特别是涉及一种网页数据爬取方法、装置、网页数据爬取平台及存储介质。

背景技术

随着互联网的发展，用户越来越重视从网络上获取信息，则需要针对不同的用户提供更多样且更精确的服务，因此需要通过网络数据爬取平台爬取用户所需的相关内容的数据，例如服务提供商给用户提供信用卡还款提醒服务时，需要获取用户的信用卡的账单信息，因此服务提供商需要先从信用卡所属的银行网页爬取用户的信用卡账单信息，并分析该账单信息后，生成提示信息，并发送至用户终端。

传统地，在对待爬取网页的网页数据进行爬取时，通常都是通过服务器端进行爬取，这样会导致当多个账户需要通过该服务器进行登录时，会触发待爬取网页所设置的风控机制，导致服务器被列入黑名单，不能登录该待爬取网页，导致可用性降低。

发明内容

基于此，有必要针对在对网页数据爬取过程中，多个账户通过相同的服务器端对进行登录时，导致服务器会被列入黑名单，从而无法登陆待爬取网页，导致可用性降低的问题，提供一种网页数据爬取方法、装置、网页数据爬取平台及存储介质。

一种网页数据爬取方法，所述方法包括：

获取待爬取网页的网页地址，根据所述待爬取网页的网页地址，获取所述待爬取网页的对应的有效登录数据；

根据有效登录数据，从网络地址库中随机选取可用的网络地址；

经验证成功后登录所述待爬取网页，并根据与所述待爬取页面相对应的渲染方式渲染所述待爬取网页；爬取已渲染完成的所述待爬取网页获取待爬取网页数据。

在其中一个实施例中，所述爬取所述待爬取网页中的待爬取网页数据的步骤，包括：

根据所述待爬取网页的网页地址，从爬取配置库中选取与所述待爬取网页对应的爬取配置文件；

根据所选取的爬取配置文件中的待爬取网页数据的位置，爬取所述待爬取网页中的待爬取网页数据。

在其中一个实施例中，所述方法还包括：

当所述待爬取网页登录成功时，则检测所述待爬取网页是否渲染完成；

当所述待爬取网页未渲染完成时，则选取与所述待爬取网页相对应的渲染方式渲染所述待爬取网页。

在其中一个实施例中，所述当所述待爬取网页未渲染完成时，则渲染所述待爬取网页的步骤，包括：

当所述待爬取网页的数据未渲染完成时，则获取所述待爬取网页的网页地址所携带的域名，将所述域名与爬取配置库中存储的域名进行匹配；

当所述待爬取网页的网页地址所携带的域名与所述爬取配置库中存储的域名匹配成功时，则从所述爬取配置库中选取与匹配成功的域名相对应的渲染方式，并根据所选取的渲染方式渲染所述待爬取网页；

当所述待爬取网页的网页地址所携带的域名与所述爬取配置库中存储的域名未匹配成功时，则从所述待爬取网页的网站服务器获取所述待爬取网页的渲染方式，将所述待爬取网页的渲染方式添加到所述爬取配置库中，并根据所添加的渲染方式渲染所述待爬取网页。