[发明专利]数据获取方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种数据获取方法、装置、电子设备及存储介质。该方法包括：确定包括至少两个数据获取请求参数的文本文件；采用数据仓库客户端工具对所述文本文件进行解析，确定所述至少两个数据获取请求参数所属的数据列索引；将所述数据列索引所包括的数据字段的值组织成请求参数，向服务器发起请求获取目标数据并将得到的目标数据进行处理。采用本发明实施例的技术方案，建立数据列索引与数据获取请求参数之间具有映射关系的文本文件，通过数据仓库客户端工具对文本文件进行解析，确定所需要的目标数据；采用文本文件作为参数映射源，动态解析并组装成请求参数，实现了HTTP接口的自动化请求。

技术领域

本发明实施例涉及计算机应用技术领域，尤其涉及一种数据获取方法、装置、电子设备及存储介质。

背景技术

在大数据采集领域，数据源以Web服务形式存在，且提供了被动的数据查询接口，来允许以HTTP请求的方式获取数据。当要获取的数据量过大或数据种类繁多时，单一Web服务接口的单次访问，并不能得到全部目标数据，往往需要分成多次不同参数的请求，来分批获取数据；数据查询的HTTP接口，限定了查询子类型参数，不允许一次查询出所有父类型的数据；在HTTP请求获取全部数据时，因数据量巨大，过于高频的对HTTP接口进行访问，可能致使Web服务压力剧增，导致崩溃。

因此，如何获取大量数据是本领域技术人员亟待解决的技术问题。

发明内容

本发明实施例提供了一种数据获取方法、装置、电子设备及存储介质，基于文本文件的动态参数组装自动化执行HTTP，解决了依赖HTTP接口获取大量数据的问题。

第一方面，本发明实施例提供了一种数据获取方法，包括：

确定包括至少两个数据获取请求参数的文本文件；

采用数据仓库客户端工具对所述文本文件进行解析，确定所述至少两个数据获取请求参数所属的数据列索引；

将所述数据列索引所包括的数据字段的值组织成请求参数，向服务器发起请求获取目标数据并将得到的目标数据进行处理。

第二方面，本发明实施例还提供了一种数据获取装置，包括：

文本文件确定模块，用于确定包括至少两个数据获取请求参数的文本文件；

数据列索引确定模块，用于采用数据仓库客户端工具对所述文本文件进行解析，确定所述至少两个数据获取请求参数所属的数据列索引；

数据获取请求模块，用于将所述数据列索引所包括的数据字段的值组织成请求参数，向服务器发起请求获取目标数据并将得到的目标数据进行处理。

第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的数据获取方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的数据获取方法。

本发明实施例提供了一种数据获取方法、装置、电子设备和存储介质，通过确定包括至少两个数据获取请求参数的文本文件；采用数据仓库客户端工具对所述文本文件进行解析，确定所述至少两个数据获取请求参数所属的数据列索引；将所述数据列索引所包括的数据字段的值组织成请求参数，向服务器发起请求获取目标数据并将得到的目标数据进行处理。采用本发明实施例的技术方案，建立数据列索引与数据获取请求参数之间具有映射关系的文本文件，通过数据仓库客户端工具对文本文件进行解析，确定所需要的目标数据；采用文本文件作为参数映射源，动态解析并组装成请求参数，实现了HTTP接口的自动化请求。