[发明专利]数据处理方法和装置、电子设备及计算机可读存储介质

说明书

本申请实施例提供的数据处理方法和装置、电子设备及计算机可读存储介质，涉及数据处理技术领域。在本申请实施例中，首先，对待处理的至少一个请求报文进行分发处理和打包处理，得到至少一个请求消息。其次，将所述至少一个请求消息发送至Spark集群进行计算，得到各请求消息对应的各计算结果。通过上述方法，可以提高数据处理的效率。

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种数据处理方法和装置、电子设备及计算机可读存储介质。

背景技术

在现有的大数据处理场景中，主要分成两大类，一类是针对大批量数据的批处理方式，另一类是针对实时流处理，基于这样的需求，许多的大数据开源组件都提供了这两类场景中的一类或者两类解决方案，如Hadoop MapReduce、Storm、Spark、Flink等，而Spark正是其中比较优秀的大数据开源计算引擎之一，它通过Spark core和Spark sql两个子组件满足了大数据批量计算的需求，通过Spark Streaming和Spark Structured Streaming两个子组件满足了大数据流式实时计算的需求。但是正是由于其分布式计算的特性，在执行Spark应用时往往需要通过脚本的方式将程序提交到Spark集群去执行，集群执行程序的业务逻辑，最终把结果保存到持久化存储系统(如：Hbase、Elasticsearch等)或者内存存储系统(如：Redis等)中，然后需要此结果数据的第三方应用再从这些存储系统中获取这些结果数据。

从这个流程来看，从提交应用到执行程序再到获取结果，是一个异步的过程。首先第三方系统只能通过脚本命令的方式提交应用，而这种方式很难以低耦合的方式内嵌或者集成到第三方系统内部，从而以平滑无侵入的方式提交请求，其次在获取执行结果的时候，其实很难及时获知应用已经执行完成，结果已经生成，只能通过其它的方式去间接同步获取结果(比如轮询)，或者不主动获取结果，而是被动触发获取结果(比如由另一套系统来触发这个操作)，而这两种方式都很难完美解决由客户端子系统(或者第三方系统)同步发出请求，等待响应的需求。

在现有技术中，上述通过Spark应用进行大数据计算的数据处理方式流程复杂，从而存在着数据处理的效率低的问题。

发明内容

有鉴于此，本申请的目的在于提供一种数据处理方法和装置、电子设备及计算机可读存储介质，以改善现有技术中存在的问题。

为实现上述目的，本申请实施例采用如下技术方案：

一种数据处理方法，包括：

对待处理的至少一个请求报文进行分发处理和打包处理，得到至少一个请求消息；

将所述至少一个请求消息发送至Spark集群进行计算，得到各请求消息对应的各计算结果。

在本申请实施例较佳的选择中，所述对待处理的至少一个请求报文进行分发处理和打包处理，得到至少一个请求消息的步骤，包括：

通过负载均衡进程对待处理的至少一个请求报文进行分发处理；

通过至少一个请求消息前置进程对分发处理后的各请求报文统一进行打包处理，得到至少一个请求消息。

在本申请实施例较佳的选择中，所述通过至少一个请求消息前置进程对分发处理后的各请求报文统一进行打包处理，得到至少一个请求消息的步骤，包括：

对各请求报文进行JSON打包处理，得到属于JSON文件格式的至少一个请求消息。

在本申请实施例较佳的选择中，所述将所述至少一个请求消息发送至Spark集群进行计算，得到各请求消息对应的各计算结果的步骤，包括：

通过包括至少一个redis频道的redis进程将各请求消息发送至对应的各Spark应用进程，并通过各Spark应用进程将所述各请求消息发送至Spark集群进行计算，得到各请求消息对应的各计算结果。