[发明专利]数据获取请求处理方法、装置、计算机设备及存储介质

说明书

本发明公开了数据获取请求处理方法、装置、计算机设备及存储介质，其中，方法包括：获取客户端的代理描述信息及传输链路信息并存储至代理数据库，若通过请求接收接口接收到数据获取请求，获取代理数据库中与数据获取请求对应的目标传输链路，根据目标传输链路对应的代理描述信息及数据获取请求生成对应的获取信息，根据目标传输链路获取数据结果，将数据结果存储至代理数据库并根据请求接收接口进行反馈。通过上述方法，可以客户端的终端地址作为代理终端地址以获取数据信息，提高了代理终端地址的稳定性，可对多个数据获取请求进行并发处理以批量获取数据结果，满足了大型企业对大批量数据进行获取的需求，大幅提升了对数据进行获取的效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据获取请求处理方法、装置、计算机设备及存储介质。

背景技术

在进行数据获取时，均是通过客户端发送数据获取请求以获取网站中所存储的数据信息，而目前网站均会限定同一终端地址(IP地址)在某一时间段内发送数据获取请求的次数，超过所限定的次数则后续所发送的数据获取请求均会被拦截，在该时间段内使用相同的终端地址无法获取数据信息。传统技术方法为通过云服务商所提供的可动态切换IP地址的vps服务器(虚拟专用服务器)，以避免所发送的数据获取请求被拦截，然而上述方法存在部分IP地址不可用的问题，导致IP地址稳定性不高，极大的影响了数据获取效率，且通过VPS服务器进行频繁拨号导致实施成本较高。因而，现有技术方法中存在对数据获取请求进行处理时数据获取效率不高的问题。

发明内容

本发明实施例提供了一种数据获取请求处理方法、装置、计算机设备及存储介质，旨在解决现有技术方法中所存在的对数据获取请求进行处理时数据获取效率不高的问题。

第一方面，本发明实施例提供了一种数据获取请求处理方法，其包括：

获取每一所述客户端的代理描述信息及传输链路信息并存储至预置的代理数据库中，其中，所述传输链路信息至少包含与所述客户端对应的一个传输链路；

若接收到来自任一所述请求接收接口的数据获取请求，获取所述代理数据库中与所述数据获取请求对应的传输链路作为目标传输链路；

获取与所述目标传输链路对应的客户端的代理描述信息作为目标代理描述信息，根据所述数据获取请求生成与所述目标代理描述信息对应的获取信息；

根据所述目标传输链路获取与所述获取信息对应的数据结果；

将所述数据结果存储至所述代理数据库，并根据所述请求接收接口反馈所述数据结果。

第二方面，本发明实施例提供了一种数据获取请求处理装置，其包括：

客户端信息存储单元，用于获取每一所述客户端的代理描述信息及传输链路信息并存储至预置的代理数据库中，其中，所述传输链路信息至少包含与所述客户端对应的一个传输链路；

目标传输链路获取单元，用于若接收到来自任一所述请求接收接口的数据获取请求，获取所述代理数据库中与所述数据获取请求对应的传输链路作为目标传输链路；

获取信息生成单元，用于获取与所述目标传输链路对应的客户端的代理描述信息作为目标代理描述信息，根据所述数据获取请求生成与所述目标代理描述信息对应的获取信息；

数据结果获取单元，用于根据所述目标传输链路获取与所述获取信息对应的数据结果；

数据结果存储反馈单元，用于将所述数据结果存储至所述代理数据库，并根据所述请求接收接口反馈所述数据结果。

第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的数据获取请求处理方法。