[发明专利]算力网络中面向低时延任务的MapReduce混合编码方法

说明书

本发明公开了一种算力网络中面向低时延任务的MapReduce混合编码方法，包括以下步骤：对于算力网络中的计算任务，获取基于MapReduce框架的服务器的数量、输出任务结果的数量、服务器的计算能力、完成Map阶段计算的服务器数量、传输速率和Map阶段计算时延分布的范围参数，为了获得极大距离可分编码参数和重复冗余度，对时延最小化优化问题进行近似，并迭代运用拉格朗日乘子法和梯度法求解近似问题得到近似值，来更新迭代值，直到满足终止条件结束迭代。用低复杂度方法得到的极大距离可分编码参数和重复冗余度可以使算力网络中低时延的MapReduce任务的总时延近似最小。本发明可以用于对算力网络中的有低时延需求的MapReduce任务进行混合编码，以获得低时延。

技术领域

本发明涉及无线通信领域，具体涉及一种算力网络中面向低时延任务的MapReduce混合编码方法。

背景技术

算力网络作为一个新兴概念，将网络资源和计算资源统一整合为一体，统一管理与调度，并且对外提供服务。算力网络意在实现对于异构资源以及分布式算力的统一编排调度，其中，使用分布式算力的计算是指一个通过将分解的计算任务分发给不同服务器节点来共同解决一个共同的计算任务的计算服务器集群。分布式计算与集中计算相比，具有一些优点来适合于大规模计算任务的完成。首先，分布式计算对于计算任务具有高可靠性和较高的容错能力。其次，分布式计算的规模是可扩展的，因为可以将数量少的计算节点集群直接拓展至数量多的算力网络中的计算节点集群。第三，分布式计算具有较高的计算速度，因为计算负荷由一定数量的算力网络计算节点共享从而共同承担了计算任务。

MapReduce是一种流行的分布式计算框架，通过服务器集群处理大规模计算任务。整个MapReduce计算任务过程是通过输入多个输入文件来输出多个任务结果，可以分解为Map阶段、Shuffle阶段和Reduce阶段。在Map阶段，多个服务器通过计算Map函数，输入各自被分配的输入文件产生对应的中间值。在Shuffle阶段，多个服务器中的每个服务器通过多播本地计算的中间值给其他的服务器来进行数据交换，使得每个服务器都能获得在Reduce阶段所需要的中间值。在Reduce阶段，多个服务器通过计算Reduce函数，输入对应中间值产生被要求输出的结果。

MapReduce类型的分布式计算有两个主要挑战。MapReduce类型的分布式计算的第一个挑战是在数据交换的Shuffle阶段中不断增加的通信负载，因为Shuffle阶段的执行时间占据了整个MapReduce计算服务执行时间的相当一部分。MapReduce类型的分布式计算的第二个挑战是存在未能完成Map阶段计算的服务器，即由于服务器计算的随机性，个别服务器在Map阶段完成计算的速度比其他服务器要慢很多，因此很大程度地增加了计算延迟。

发明内容

为了克服现有技术的不足，本发明的目的是提供一种算力网络中面向低时延任务的MapReduce混合编码方法，对于低时延的MapReduce任务，采取重复编码计算和极大距离可分(MDS)编码的混合编码方法，使用迭代算法得到使得算力网络中低时延的MapReduce任务的总时延最小的近似极大距离可分编码参数和重复冗余度。

一种算力网络中面向低时延任务的MapReduce混合编码方法，步骤如下：

1)对于算力网络中的计算任务，获取如下信息：基于MapReduce框架的服务器的数量K、输出任务结果的数量Q、服务器的计算能力μ_c、完成Map阶段计算的服务器数量s、传输速率R和Map阶段计算时延分布的范围参数μ_d；

2)对计算的数据先进行极大距离可分编码，再进行重复编码，其中按照以下步骤在中选择合适的极大距离可分编码参数r₁，在中选择合适的重复冗余度r₂，使编码后完成计算任务的总时延最小；