[发明专利]一种数据批量处理系统、方法、设备和存储介质

说明书

本发明实施例公开了一种数据批量处理系统、方法、设备和存储介质。所述系统包括：数据读取模块，用于批处理任务中的原始数据转换为第一预设数据格式，并根据批处理任务中的读命令读取第一预设数据格式的原始数据；数据处理模块，用于基于批处理任务中的处理命令对原始数据进行处理，将处理得到的数据存储至预设列表中；数据写入模块，用于根据批处理任务中的写命令，将预设列表中的数据转换为第二预设数据格式，并将第二预设数据格式的数据写入目标存储容器。其中，数据读取模块、数据处理模块和数据写入模块分别独立封装。以配置化方式实现代码的高可维护度和复用性，以一种简洁高效、较低成本的方式实现对数据的批量处理。

技术领域

本发明实施例涉及信息数据处理技术，尤其涉及一种数据批量处理系统、方法、设备和存储介质。

背景技术

随着大数据的日益蓬勃和发展，数据量越来越多，在对大量数据进行处理时，批量处理就显得尤为重要，批量处理是指在没有人工干预的情况下，由一个计算机程序基于一份批量的输入执行一系列的任务的一种处理模式。

目前，批量处理系统一般开始仅用于处理简单场景，即在项目上线初始阶段，由于批量任务比较少，所做的工作也比较简单，批量处理系统仅能够基本满足需求，但是随着项目上线后，批量任务越来越多，场景越来越复杂，原有批量处理系统越来越力不从心，最后只有推倒重新设计，费时又费力，无法满足批处理的需求。

发明内容

本发明实施例提供一种数据批量处理系统、方法、设备和存储介质，以配置化方式实现代码的高可维护度和复用性，以一种简洁高效、较低成本的方式实现对数据的批量处理。

第一方面，本发明实施例提供了一种数据批量处理系统，该系统包括：

数据读取模块、数据处理模块和数据写入模块，其中，所述数据读取模块、所述数据处理模块和所述数据写入模块分别独立封装；

所述数据读取模块，用于批处理任务中的原始数据转换为第一预设数据格式，并根据所述批处理任务中的读命令读取所述第一预设数据格式的原始数据；

所述数据处理模块，用于基于所述批处理任务中的处理命令对所述原始数据进行处理，将处理得到的数据存储至预设列表中；

所述数据写入模块，用于根据所述批处理任务中的写命令，将所述预设列表中的数据转换为第二预设数据格式，并将所述第二预设数据格式的数据写入所述目标存储容器。

第二方面，本发明实施例还提供了一种数据批量处理方法，该方法包括：

根据批处理任务中的读命令，将原始数据转换为预设数据格式，并读取所述预设数据格式的原始数据；

基于所述批处理任务中的处理命令对所述原始数据进行处理，将处理得到的数据存储至预设列表中；

根据所述批处理任务中的写命令，将所述预设列表中的数据转换为第二预设数据格式，并将所述第二预设数据格式的数据写入所述目标存储容器。

第三方面，本发明实施例还提供了一种设备，该设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例中任一所述的一种数据批量处理方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，其中，计算机可执行指令在由计算机处理器执行时用于实现本发明实施例中任一所述的一种数据批量处理方法。