[发明专利]一种数据处理方法、装置及电子设备

说明书

本申请提供一种数据处理方法、装置及电子设备；所述数据处理方法包括：前端处理模块收到用户对数据处理任务的查询请求后，保存所述查询请求的信息，所述信息至少包括所述数据处理任务的标识；调度模块当数据处理任务的处理状态发生变化时，向各前端处理模块发布状态变化消息；所述状态变化消息中携带状态发生变化的数据处理任务的标识，及变化后的处理状态；所保存的数据处理任务的标识，与已发布的状态变化消息中携带的数据处理任务的标识匹配的前端处理模块，将所述状态变化消息中携带的变化后的处理状态返回给相应用户。本申请至少一个实施例在大规模分布式系统中能及时进行反馈，并避免线程和网络资源的浪费。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据处理方法、装置及电子设备。

背景技术

在大数据处理的解决方案中，一般采用分布式的数据处理架构，比如开源的分布式数据批处理框架Hadoop；在分布式数据处理系统中，数据处理流程通常可以包括：客户端提交数据处理任务给服务器端，服务器端中的前端处理模块接收数据处理任务并提交给调度模块，调度模块根据数据处理任务进行资源分配和调度，将数据处理任务交给执行模块处理。客户端通过设置一个轮询时间间隔，并以此时间间隔去查询数据处理任务的处理状态，前端处理模块当收到客户端的查询请求后进行查询，并反馈相应数据处理任务的处理状态，如果已存在处理结果则反馈处理结果。

现有的数据处理方法存在以下缺点：

在进行数据批处理时，对所需处理时间较短(秒级/分钟级)的数据处理任务(比如但不限于数据量较小的数据处理任务)，处理状态及处理结果的反馈速度受到客户端轮询时间的限制，不能在处理状态发生改变时及时反馈。

但如果通过减小客户端的轮询时间间隔的方式试图缩短客户端获取处理状态及处理结果的间隔，当数据处理规模较大时又会对服务器端产生压力，影响服务器端的稳定性，而且由于每次客户端查询时，服务器端都需要为该查询单开一个线程，并占用相应的网络资源，因此会浪费不必要的线程和网络资源；比如一个数据处理任务需要20分钟才能出处理结果，如果客户端每分钟查询一次，第20次才能查询到处理结果，而前19次查询所占用的线程和网络资源则被浪费。

发明内容

本申请提供一种数据处理方法、装置及电子设备，在大规模分布式系统中能及时进行反馈，并避免线程和网络资源的浪费。

本申请采用如下技术方案。

一种数据处理方法，包括：

前端处理模块收到用户对数据处理任务的查询请求后，保存所述查询请求的信息，所述信息至少包括所述数据处理任务的标识；

调度模块当数据处理任务的处理状态发生变化时，向各前端处理模块发布状态变化消息；所述状态变化消息中携带状态发生变化的数据处理任务的标识，及变化后的处理状态；

所保存的数据处理任务的标识，与已发布的状态变化消息中携带的数据处理任务的标识匹配的前端处理模块，将所述状态变化消息中携带的变化后的处理状态返回给相应用户。

其中，所述查询请求的信息还可以包括：查询请求的标识；

所述前端处理模块保存所述查询请求的信息可以包括：

所述前端处理模块对应保存所述查询请求的标识，和所述查询请求所针对的数据处理任务的标识；

所述将状态变化消息中携带的变化后的处理状态返回给相应用户可以包括：

确定所述状态变化消息中携带的数据处理任务的标识对应的查询请求的标识；

将所述状态变化消息中携带的变化后的处理状态，根据所确定的查询请求的标识返回给相应用户。

其中，在所述前端处理模块收到用户对数据处理任务的查询请求后、保存查询请求的信息前还可以包括：