[发明专利]一种数据批量处理的方法和装置

说明书

技术领域

本申请涉及计算机数据处理领域，尤其涉及一种数据批量处理的方法和装置。

背景技术

在计算机领域中，为了处理大批量的数据，产生了数据批量处理任务，即，在计算机上预先设置程序或者命令，执行系列程序的作业。利用数据批量处理，能够很好的利用计算机资源，减少了计算开销，并且不需要时刻有人工监事和干预，从而降低了人工开销。依靠上述优点，数据批量处理在计算机领域中得到了广泛的应用。

在现有技术中，常用的数据批量处理，基本上是针对某一业务特性或者某一处理特性通过系统编码进行系统设计和研发，并逐个实现批量处理。如需要实现不同账户之间的数据转移汇总，则对一批转出账户相同、转入账户相同、业务相同的数据进行一次账户数据批量转移；又如需要对用户缴费数据进行批量汇总，则要对转出账户相同、业务相同的数据进行一次用户缴费数据批量汇总；再如账户数据批量转移处理需要在指定时间执行，则通常需要启动一个定时任务，在指定时间触发这个操作，执行账户数据批量转移。

在实际的数据批量处理中，随着业务类型和需求不断扩大，需求场景多变，汇总数据类型多变，汇总类型更加多样化，而且汇总执行的时间点多变且不尽相同，使用上述处理方式来支撑多种业务、多种方式汇总，导致系统越来越庞大，维护难度越来越大。

所以需要提供一套标准化的数据批量处理系统结构，使不同业务类型、不同处理时间的数据通过该系统结构快捷的进行数据批量处理，节约计算机资源和人工成本。

发明内容

鉴于上述问题，本申请的主要目的在于提供一种数量批量处理的方法和装置，以解决现有数据批量处理技术，在支撑多业务、多方式批量处理时导致系统难管理、难维护的问题。

为了解决上述技术问题，本申请的目的是通过以下技术方案实现的：

本申请公开了一种数据批量处理的方法，包括以下步骤：接收多个用户请求数据并确定与所述多个用户请求数据相关的一个或多个数据汇总模板；在所述一个或多个数据汇总模板的每一个中设置汇总维度和设置可执行时刻；以及当多个所述汇总维度相同时，批量处理所述多个用户请求数据。

优选的，在根据本申请所述的方法中，所述在所述一个或多个数据汇总模板的每一个中设置汇总维度和设置可执行时刻还包括：基于所述用户请求数据，解析每一个所述数据汇总模板中的配置文件；以及设置所述汇总维度并设置所述可执行时刻。

优选的，在根据本申请所述的方法中，所述配置文件包括汇总维度的描述方式和可执行时刻的描述方式；以及所述解析每一个所述数据汇总模板中的配置文件包括：解析所述汇总维度的描述方式和所述可执行时刻的描述方式。

优选的，在根据本申请所述的方法中，所述当多个所述汇总维度相同时批量处理多个用户请求数据还包括：在所述可执行时刻，将多个所述汇总维度相同的用户请求数据组装成一个或多个汇总批次，并批量处理多个用户请求数据。

优选的，在根据本申请所述的方法中，所述组装成一个或多个汇总批次还包括：基于预设的处理阈值，来判断用户请求数据的数量是否需要组装成一个或多个汇总批次；其中，如果用户请求数据的数量大于所述处理阈值，则将所述用户请求数据分成多个汇总批次进行处理，并对所述多个汇总批次进行编码，使用得到的多个汇总批次序号关联多个汇总批次；以及如果用户请求数据的数量小于或者等于处理阈值，则将所述用户请求数据作为一个汇总批次进行处理。

优选的，在根据本申请所述的方法中，所述批量处理多个用户请求数据还包括：在可执行时刻，调用数据库中的数据操作项，并依照所述数据操作项中的操作项信息处理所述多个用户请求数据。

优选的，根据本申请所述的方法还可以包括：在所述数据操作项中，至少包括如下操作项信息：所述汇总维度、所述可执行时刻、所述汇总批次序号。

优选的，在根据本申请所述的方法中，所述批量处理多个用户请求数据还包括同步地调用数据汇总插件。

本申请还公开了一种数据批量处理的装置，包括：接收与选择模块，用于接收多个用户请求数据并确定与所述多个用户请求数据相关的一个或多个数据汇总模板；配置模块，用于在所述一个或多个数据汇总模板的每一个中设置汇总维度和设置可执行时刻；以及执行模块，用于当多个汇总维度相同时，批量处理所述多个用户请求数据。

优选的，根据所述的装置所述配置模块，还可以包括：解析模块，用于基于所述用户请求数据，解析每一个所述数据汇总模板中的配置文件；以及设置模块，设置所述汇总维度并设置所述可执行时刻。