[发明专利]大数据处理方法、装置、设备及计算机可读存储介质

说明书

本发明涉及大数据处理技术，揭露一种大数据处理方法，包括：根据数据处理指令，获取待处理目标所需的目标数据；将目标数据主题字段替换为与其相对应的预设字段编码，得到目标数据主题编码；将目标数据主题编码与目标数据值进行映射处理，得到目标数据值与目标数据主题编码的编码数据映射表；根据编码数据映射表和预先获取的目标处理函数对待处理目标进行大数据处理。本发明还涉及区块链技术，数据主题字段编码字典表存储于区块链中。本发明能够解决现有技术中，直接基于原始数据进行处理的方式，对磁盘、网络消耗、内存消耗非常大，且处理时间长等问题。

技术领域

本发明涉及大数据处理，尤其涉及一种大数据处理的方法、装置、电子设备及计算机可读存储介质。

背景技术

大数据技术出现后，给海量数据中分析出有价值的数据，提供了很大的便利性，也为商业数据分析，商业决策，运营分析等提供了比较好的支持。

但是在目前大数据处理框架，如大数据的计算处理框架中的SPARK计算框架，在进行计算时候，往往是根据数据源实际的数据进行计算处理，即数据来源是什么样，数据处理时候就直接用原始数据进行，而实际数据主题字段的长度往往是非常长的，例如企业用户的ID，是32个以上的字符串长度，订单ID是比32位更长的字符串长度，并且数据处理过程中，往往是按照这种字符串长度很长的字段进行分组聚合处理，按照字符串长度很长的字段进行关联等。

上述这种直接基于原始数据进行处理的方式，虽然对大数据分布式处理来说，能得出处理结果，但是整个过程中对磁盘IO、网络消耗、内存消耗非常大，且处理时间长。

发明内容

本发明提供一种大数据处理方法、装置、电子设备及计算机可读存储介质，其主要目的在于能够解决现有技术中，直接基于原始数据进行处理的方式，对磁盘、网络消耗、内存消耗非常大，且处理时间长等问题。

第一方面，为实现上述目的，本发明提供的一种大数据处理方法，包括：

根据数据处理指令，获取待处理目标所需的目标数据；其中，所述目标数据包括目标数据主题字段以及与所述目标数据主题字段相对应的目标数据值；

根据预设数据主题字段编码字典表，将所述目标数据主题字段替换为与其相对应的预设字段编码，得到目标数据主题编码；其中，每个目标数据主题字段均匹配有一一对应的预设字段编码；且，所述预设字段编码的字符串长度小于所述目标数据主题字段的字符串长度；

将所述目标数据主题编码与所述目标数据值进行映射处理，得到所述目标数据值与所述目标数据主题编码的编码数据映射表；

根据所述编码数据映射表和预先获取的目标处理函数对所述待处理目标进行大数据处理；其中，所述目标处理函数为处理所述待处理目标所需的函数，每个待处理目标均匹配有相应的目标处理函数。

第二方面，为了解决上述问题，本发明还提供一种大数据处理装置，所述装置包括：

目标数据获取模块，用于根据数据处理指令，获取待处理目标所需的目标数据；其中，所述目标数据包括目标数据主题字段以及与所述目标数据主题字段相对应的目标数据值；

目标数据主题编码获取模块，用于根据预设数据主题字段编码字典表，将所述目标数据主题字段替换为与其相对应的预设字段编码，得到目标数据主题编码；其中，每个目标数据主题字段均匹配有一一对应的预设字段编码；且，所述预设字段编码的字符串长度小于所述目标数据主题字段的字符串长度；

编码数据映射表生成模块，用于将所述目标数据主题编码与所述目标数据值进行映射处理，得到所述目标数据值与所述目标数据主题编码的编码数据映射表；

大数据处理模块，用于根据所述编码数据映射表和预先获取的目标处理函数对所述待处理目标进行大数据处理；其中，所述目标处理函数为处理所述待处理目标所需的函数，每个待处理目标均匹配有相应的目标处理函数。