[发明专利]基于地理位置的数据采集方法、装置、及计算机设备

说明书

本发明公开了基于地理位置的数据采集方法、装置、计算机设备及存储介质。该方法包括若检测到客户端发送的数据采集任务请求，接收与数据采集任务请求对应的用户账号信息、客户端IP地址、目标地址；根据用户账号信息对应的地理位置分区和客户端IP地址，将本地的IP地址对应调整为地理位置分区对应的当前IP地址；根据用户账号信息登录目标地址对应的目标网站；以及根据数据采集任务请求在目标网站对应采集网页数据，得到并存储采集结果。本发明实施例实现了通过记录用户账号信息的地理位置分区，在使用用户账号进行目标网站登录前，先切换到对应地区的IP地址后再进行登录，实现了异地登录目标网站进行数据采集。

技术领域

本发明涉及数据采集技术领域，尤其涉及一种基于地理位置的数据采集方法、装置、计算机设备及存储介质。

背景技术

目前，数据采集方法一般通过采集服务器的采集程序对目标服务器进行数据采集，通过用户授权账号进行网站登录时，由于采集服务器的IP归属地址和用户账号注册地址不在同一个地区，容易触发目标服务器中的目标网站基于异地登录的反爬机制，导致无法进行数据的采集。

发明内容

本发明实施例提供了一种基于地理位置的数据采集方法、装置、计算机设备及存储介质，旨在解决现有技术中目标服务器中的目标网站基于异地登录的反爬机制使得采集服务器无法正常通过用户授权账号进行网站登录以采集数据的问题。

第一方面，本发明实施例提供了一种基于地理位置的数据采集方法，其包括：

若检测到客户端发送的数据采集任务请求，接收与所述数据采集任务请求对应的用户账号信息、客户端IP地址、目标地址；

根据所述用户账号信息对应的地理位置分区和所述客户端IP地址，将本地的IP地址对应调整为所述地理位置分区对应的当前IP地址；

根据所述用户账号信息登录所述目标地址对应的目标网站；以及

根据所述数据采集任务请求在所述目标网站对应采集网页数据，得到并存储采集结果。

第二方面，本发明实施例提供了一种基于地理位置的数据采集装置，其包括：

请求检测单元，用于若检测到客户端发送的数据采集任务请求，接收与所述数据采集任务请求对应的用户账号信息、客户端IP地址、目标地址；

IP地址调整单元，用于根据所述用户账号信息对应的地理位置分区和所述客户端IP地址，将本地的IP地址对应调整为所述地理位置分区对应的当前IP地址；

目标网址登录单元，用于根据所述用户账号信息登录所述目标地址对应的目标网站；以及

数据采集单元，用于根据所述数据采集任务请求在所述目标网站对应采集网页数据，得到并存储采集结果。

第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于地理位置的数据采集方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于地理位置的数据采集方法。