[发明专利]数据封装方法、电子设备及存储介质

说明书

本发明公开了一种数据封装方法、电子设备及存储介质。通过根据待处理数据的属性确定需要封装成的数据对象的数据格式，在根据预设的元数据名和过滤条件从待处理数据对应的元数据中筛选出待封装元数据后，将元数据中指定的待处理数据以确定的数据格式对应的转换方式进行转换，获得待封装数据，最终将待封装数据和待封装元数据封装为能够使用SQL语句查询的数据对象，使开发人员只需使用SQL语句便可实现Spark的开发，无需对Spark原理与底层深入了解，从而减少了人力成本的投入，通过将不同数据格式的待处理数据进行不同的数据转换，使得到的数据对象能够适应各种作业情况，进而提高作业性能，减少资源的使用，降低硬件成本的投入。

技术领域

本发明实施方式涉及大数据编程技术领域，特别涉及一种数据封装方法、电子设备及存储介质。

背景技术

Apache Spark是专为大规模分布式数据分布式内存计算而设计的快速通用的引擎。是由加州大学伯克利分校的AMP实验室提供的开源的类Hadoop MapReduce的通用并行框架。Spark由于MapReduce Job中间输出结果可以保存在内存中，从而不再需要读写HDFS(Hadoop Distributed File System，分布式文件系统)，因此，Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

但是，由于Spark开发的复杂性，目前在实现大数据Spark的开发时，开发人员需要深入了解Spark原理和底层技术，比如广播变量(broadcast)、RDD(ResilienntDistributed Datasets，弹性分布式数据集)算子等，这就需要投入大量的人力成本来培养专门的Spark开发人员。

发明内容

本发明实施方式的目的在于提供一种数据封装方法、电子设备及存储介质，旨在减少人力成本的投入，同时简化代码量，提升开发效率。

为解决上述技术问题，本发明的实施方式提供了一种数据封装方法，包括以下步骤：

根据预设的元数据名获取预先定义的待处理数据的元数据；

根据所述元数据和预设的过滤条件，得到待封装元数据；

根据所述待处理数据的属性，确定需要封装成的数据对象的数据格式；

将所述元数据中指定的待处理数据以所述数据格式对应的转换方式进行转换，得到待封装数据；

将所述待封装元数据和所述待封装数据封装在同一个数据对象中，得到所述数据格式的数据对象，所述数据对象供SQL语句查询。

本发明的实施方式还提供了一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上文所述的数据封装方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的数据封装方法。

本发明实施方式相对于现有技术而言，通过根据待处理数据的属性确定待处理数据需要封装成的数据对象的数据格式，从而在根据预设的元数据名确定待处理数据对应的元数据，根据预设的过滤条件从确定的元数据中筛选出待封装元数据后，能够将元数据中指定的待处理数据以确定的数据格式对应的转换方式进行转换，获得待封装数据，最终通过将获得的待封装数据和筛选出的待封装元数据封装为适合待处理数据的数据格式，且能够使用SQL语句查询的数据对象，使得开发人员只需使用SQL语句便可以实现大数据Spark的开发，无需对Spark原理与底层技术深入了解，从而有效减少了人力成本的投入。