[发明专利]算力网络中面向低时延任务的MapReduce混合编码方法

权利要求书

1.一种算力网络中面向低时延任务的MapReduce混合编码方法，其特征在于，包括如下步骤：

1)对于算力网络中的计算任务，获取如下信息：基于MapReduce框架的服务器的数量K、输出任务结果的数量Q、服务器的计算能力μ_c、完成Map阶段计算的服务器数量s、传输速率R和Map阶段计算时延分布的范围参数μ_d；

2)对计算的数据先进行极大距离可分(MDS)编码，再进行重复编码，其中在中选择合适的极大距离可分编码参数r₁，在中选择合适的重复冗余度r₂，使编码后完成计算任务的总时延最小；

3)在Map阶段，把进行极大距离可分编码后的输入文件以选择的重复冗余度在多个服务器上进行重复计算；在Shuffle阶段，在完成Map阶段计算的服务器之间传输中间值的异或值，利用Map阶段获取的中间值，计算得到需要的中间值；在Reduce阶段利用获取到的所有中间值，输出MapReduce计算结果。

2.根据权利要求1所述的方法，其特征在于，步骤2)所述的在中选择合适的极大距离可分编码参数r₁，在中选择合适的重复冗余度r₂，使编码后完成计算任务的总时延最小，步骤如下：

2.1)设置迭代算法的参数初始值：迭代步长初始值θ⁰，迭代精确度∈₀，迭代步长更新参数δ，极大距离可分编码参数迭代值的初始值重复冗余度迭代值的初始值近似值与迭代值差值的权重τ，迭代次数z＝0；

2.2)在第z次迭代对应的极大距离可分编码参数和重复冗余度的基础上，把完成计算任务总时延近似为把约束条件r₁r₂≤μ_cK近似为因此，在第z+1次迭代中要解决的近似优化问题为：

以近似总时延为目标，通过梯度法迭代获取极大距离可分编码参数和重复冗余度的近似值求解的过程如下：

设置拉格朗日乘子第z次迭代的更新初始值梯度法更新精确度∈₁、∈₂，梯度法更新步长σ₁、σ₂，更新次数m＝0、n＝0；

迭代进行和的更新：

其中，

直到满足终止条件结束更新，输出为最终的更新值

在获得和后，对拉格朗日乘子进行更新：

其中，

直到满足终止条件结束更新，输出为拉格朗日乘子第z+1次迭代的更新初始值

2.3)每次迭代用获取的近似优化问题最优值更新极大距离可分编码参数和重复冗余度如下：

z←z+1

θ^z＝θ^z-1(1-εθ^z-1)；

2.4)直到满足终止条件结束迭代，输出此次迭代中极大距离可分编码参数和重复冗余度作为最终选择的极大距离可分编码参数和重复冗余度。