[发明专利]批量数据处理方法、装置、设备及可读存储介质

说明书

本申请提供一种批量数据处理方法、装置、设备及可读存储介质，可用于大数据技术领域。该方法包括：获取批量处理任务；确定多个批量处理过程对应的多个通用处理模板，多个批量处理过程包括批量读过程、批量格式转换过程和批量写过程；确定第一批量数据的第一数据信息，第一数据信息包括如下至少一种：第一批量数据的数据类型、存储第一批量数据的源设备、待转换至的目标数据类型或待存储至的目标设备；根据多个通用处理模板和第一数据信息，确定多个批量处理过程对应的多个目标处理方式；通过多个目标处理方式执行所述批量处理任务。本申请的方法，提高了批量数据处理的灵活性。

技术领域

本申请涉及大数据技术领域，尤其涉及一种批量数据处理方法、装置、设备及可读存储介质。

背景技术

在数据管理过程中，数据来源于不同的数据系统，不同的数据系统存储数据的数据类型不同，在批量获取数据的过程中，需要对数据进行批量处理，使得获取数据的数据类型相同。

在现有技术中，针对数据的不同数据类型，都具有其对应的数据处理过程，多个数据处理过程之间相互独立。在实际应用过中，根据待批量处理数据的数据类型，确定对应的数据处理过程，对待批量处理数据进行批量处理。然而，多个数据处理过程之间存在相同的程序，使得数据处理过程冗余，并且在对数据处理过程进程维护时，需要对每一个数据处理过程进行维护，导致批量数据处理的灵活性较差。

发明内容

本申请提供一种批量数据处理方法、装置、设备及可读存储介质，用以解决批量数据处理的灵活性较差的问题。

第一方面，本申请提供一种批量数据处理方法，包括：

获取批量处理任务，所述批量处理任务用于指示对第一批量数据进行处理；

确定多个批量处理过程对应的多个通用处理模板，所述多个批量处理过程包括批量读过程、批量格式转换过程和批量写过程；

确定所述第一批量数据的第一数据信息，所述第一数据信息包括如下至少一种：所述第一批量数据的数据类型、存储所述第一批量数据的源设备、待转换至的目标数据类型或待存储至的目标设备；

根据所述多个通用处理模板和所述第一数据信息，确定所述多个批量处理过程对应的多个目标处理方式；

通过所述多个目标处理方式执行所述批量处理任务。

第二方面，本申请提供一种批量数据处理装置，包括获取模块、第一确定模块、第二确定模块、第三确定模块和执行模块：

所述获取模块用于，获取批量处理任务，所述批量处理任务用于指示对第一批量数据进行处理；

所述第一确定模块用于，确定多个批量处理过程对应的多个通用处理模板，所述多个批量处理过程包括批量读过程、批量格式转换过程和批量写过程；

所述第二确定模块用于，确定所述第一批量数据的第一数据信息，所述第一数据信息包括如下至少一种：所述第一批量数据的数据类型、存储所述第一批量数据的源设备、待转换至的目标数据类型或待存储至的目标设备；

所述第三确定模块用于，根据所述多个通用处理模板和所述第一数据信息，确定所述多个批量处理过程对应的多个目标处理方式；

所述执行模块用于，通过所述多个目标处理方式执行所述批量处理任务。

第三方面，本申请实施例提供一种终端设备，包括：存储器和处理器，

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行第一方面任一项所述的批量数据处理方法。