[发明专利]数据处理方法、电子设备及存储介质

说明书

本发明公开了一种数据处理方法、电子设备及存储介质。本发明中，通过预定义的数据处理框架提供的任务分解类，按照数据获取指令中提取出的时间粒度对时间区间进行划分，并按照提取出的作业类型生成得到的子区间对应的子任务，通过子任务去调用数据处理框架提供的数据处理接口来获取待处理的源数据和配置数据，基于该接口对源数据和配置数据进行处理，最终将处理后的数据保存为能够按需获取内容的parquet文件，使得开发人员无需深入了解Spark原理和底层技术，同时由于parquet文件将源数据和配置数据关联在了一起，使得后续开发无需再关联配置数据，或者少关联配置数据，从而大大简化了后续业务的处理，有效提高了开发效率。

技术领域

本发明实施方式涉及大数据编程技术领域，特别涉及一种数据处理方法、电子设备及存储介质。

背景技术

Apache Spark是专为大规模分布式数据分布式内存计算而设计的快速通用的引擎。是由加州大学伯克利分校的AMP实验室提供的开源的类Hadoop MapReduce的通用并行框架。Spark由于MapReduce Job中间输出结果可以保存在内存中，从而不再需要读写HDFS(Hadoop Distributed File System，分布式文件系统)，因此，Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

但是由于具体业务的不同，在实际开发中往往需要进行大量配置操作，实现过程繁琐且难度较大。此外，由于Spark开发的复杂性，目前在实现大数据Spark的开发时，开发人员需要深入了解Spark原理和底层技术，比如广播变量(broadcast)、RDD(ResilienntDistributed Datasets，弹性分布式数据集)算子等，这就需要投入大量的人力成本来培养专门的Spark开发人员。

发明内容

本发明实施方式的目的在于提供一种数据处理方法、电子设备及存储介质，旨在减少人力成本的投入，同时简化代码量，提升开发效率。

为解决上述技术问题，本发明的实施方式提供了一种数据处理方法，包括以下步骤：

获取数据处理指令，从所述数据处理指令中提取作业类型、时间区间和时间粒度；

基于预定义的数据处理框架提供的任务分解类，按照所述时间粒度将所述时间区间划分为多个子区间，按照所述作业类型生成每个子区间对应的子任务；

通过所述子任务调用所述数据处理框架提供的数据处理接口，获取待处理数据，所述待处理数据包括源数据和配置数据；

基于所述数据处理框架提供的数据处理接口，对所述源数据和所述配置数据进行处理，并将处理后的数据保存为列式存储格式parquet文件。

本发明的实施方式还提供了一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上文所述的数据处理方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的数据处理方法。