[发明专利]一种数据获取方法及装置

说明书

本申请提供了一种数据获取方法及装置，作用于数据获取系统，该数据获取系统包括交易数据调度工作台和数据处理服务器；交易数据调度工作台与数据处理服务器保持网络通讯连接；该方法包括：交易数据调度工作台向数据处理服务器发送多个交易数据调度指令，以使数据处理服务器根据每个交易数据调度指令中携带的交易时间标识和网络商家标识，分别从指定的网络商家所使用的交易数据服务器获取指定交易时间标识对应的目标交易数据；数据处理服务器依据目标交易数据生成交易数据查询表，并将获取到的目标交易数据和交易数据查询表反馈至交易数据调度工作台；交易数据调度工作台将反馈的目标交易数据存储在对应的交易数据查询表中的交易数据存储地址下。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据获取方法及装置。

背景技术

在互联网时代，为了更好地把控商品的销售和推广的方向，掌握商品销售和推广的资源利用状况，需要从大量的网络平台中获取数据以进行资源利用状况的分析。

而对于大量且杂乱的数据，在现有技术中对于数据的处理流程散乱不一，且无法并发多个数据获取任务，导致了数据获取效率低，数据的调用困难。在数据获取阶段所使用的数据处理服务器无法根据实际需求随用随开，关闭数据处理服务器的流程复杂，造成对于数据处理服务器的租用花费过大。通过现有技术的数据获取方法，没有办法掌握当前资源利用率，无法了解空闲资源有哪些，甚至部分资源脱离系统管理，造成大量可用资源的闲置和浪费。

发明内容

有鉴于此，本申请的目的在于提供一种数据获取方法及装置，用于解决现有技术中交易数据处理流程复杂的问题。优化了数据处理方式和数据处理流程，从而提高了数据查询的灵活度。

第一方面，本申请实施例提供了一种数据获取方法，作用于数据获取系统，该数据获取系统包括交易数据调度工作台和数据处理服务器；其中，数据处理服务器分别与每个交易数据服务器保持网络通讯连接；交易数据调度工作台与数据处理服务器保持网络通讯连接；该方法包括：

交易数据调度工作台向数据处理服务器发送多个交易数据调度指令，以使所述数据处理服务器根据每个交易数据调度指令中携带的交易时间标识和网络商家标识，分别从指定的网络商家所使用的交易数据服务器获取指定交易时间标识对应的目标交易数据；所述数据处理服务器依据所述目标交易数据生成交易数据查询表，并将获取到的所述目标交易数据和所述交易数据查询表反馈至交易数据调度工作台；所述交易数据查询表中记录有交易数据存储地址和对应的记录标识码；记录标识码是根据交易时间标识和网络商家标识确定的；

交易数据调度工作台将所述反馈的目标交易数据存储在对应的交易数据查询表中的交易数据存储地址下，以供根据记录标识码查询指定的交易数据。

根据第一方面，本申请实施例提供了第一方面的第一种可能的实施方案，其中，在交易数据调度工作台将所述反馈的目标交易数据存储在对应的交易数据查询表中的目标交易数据存储地址下，以供根据记录标识码查询指定的交易数据之后，还包括：

交易数据调度工作台接收用户端发送的交易数据读取指令；

交易数据调度工作台根据该交易数据读取指令中携带的记录标识码查找对应的目标交易数据查询表；

交易数据调度工作台根据所述目标交易数据查询表中记录的交易数据存储地址，提取交易数据调度指令对应的交易数据，并将所述交易数据调度指令对应的交易数据反馈至所述用户端。

根据第一方面，本申请实施例提供了第一方面的第二种可能的实施方案，其中，当交易数据调度指令是定时任务调度指令时，该方法包括：

交易数据调度工作台按照预设时间向数据处理服务器发送定时任务调度指令，以使所述数据处理服务器根据定时任务调度指令中携带的交易时间标识和网络商家标识，分别从指定的网络商家所使用的交易数据服务器获取指定交易时间标识对应的目标交易数据；其中，交易时间标识为当日日期。