[发明专利]批处理任务的处理方法、装置、服务器及可读存储介质

说明书

本发明公开了一种批处理任务的处理方法、装置、服务器及可读存储介质，获取调度中心触发的批处理任务信息；利用分布式动态配置管理框架动态配置出当前批处理的任务数量和处理时长；为当前批处理的每个任务创建一个线程并放入线程池中；将所述线程池中的所有线程的执行时段均匀分布在所述处理时长中，使得在当前批处理任务中的每个任务的执行时段均匀分布在处理时长中，促使能够更平滑的处理批处理任务中的任务。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种批处理任务的处理方法、装置、服务器及可读存储介质。

背景技术

在当前互联网程序应用架构中，会存在一些批处理任务对过去一段时间内发生的业务进行集中处理，例如基金资产的收益计算，应用捞取出来所有的基金资产对每笔资产的昨日的日收益、累计收益等进行计算，然后将计算结果写入到数据库中。而批处理任务的执行通常都是通过调度中心以及利用sofa-platform-schedule来实现的，调度中心根据设定的cron表达式定时启动批处理任务，业务代码实现sofa-platform-schedule的接口对任务拆分后并通过rpc调用方式将任务均衡地分发到服务器集群中的服务器中执行。

现有的批处理任务的处理过程以基金资产的收益计算任务为例，批处理任务每隔6秒执行一次，每次捞取300笔基金资产然后进行计算，批处理任务往往在前2秒就执行结束了，后面4秒处于空闲状态，6秒内任务执行不够平滑。

发明内容

本发明提供了一种批处理任务的处理方法、装置、服务器及可读存储介质，能够促使批处理任务的处理性能更平滑。

本申请第一方面提供了一种批处理任务的处理方法，其特征在于，包括：

获取调度中心触发的批处理任务信息；

利用分布式动态配置管理框架动态配置出当前批处理的任务数量和处理时长；

为当前批处理的每个任务创建一个线程并放入线程池中；

将所述线程池中的所有线程的执行时段均匀分布在所述处理时长中，并通过执行所有线程来处理所述当前批处理的每个任务。

本申请第二方面还提供了一种批处理任务的处理装置，其特征在于，包括：

批处理任务信息获取单元，用于获取调度中心触发的批处理任务信息；

配置单元，用于利用分布式动态配置管理框架动态配置出当前批处理的任务数量和处理时长；

线程创建单元，用于为当前批处理的每个任务创建一个线程并放入线程池中；

线程执行单元，用于将所述线程池中的所有线程的执行时段均匀分布在所述处理时长中，并通过执行所有线程来处理所述当前批处理的每个任务。

本申请第三方面还提供了一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述批处理任务的处理方法的步骤。

本申请第四方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述批处理任务的处理方法的步骤。

本发明的有益效果如下：

基于上述技术方案，通过动态配置出当前批处理任务的任务数量和处理时长，促使批处理的任务数量和处理时长与服务器集群中的服务器处理速度相匹配，提高批处理任务的处理效率；并将所有线程的执行时段均匀分布在处理时长中，使得在当前批处理任务中的每个任务的执行时段均匀分布在处理时长中，促使能够更平滑的处理批处理任务中的任务。

附图说明

图1为本发明实施例中批处理任务的处理方法的方法流程图；