[发明专利]边缘计算中基于强化学习的无人机任务卸载方法及系统

权利要求书

1.一种边缘计算中基于强化学习的无人机任务卸载方法，其特征在于，包括：

步骤1，根据无人机到边缘节点的距离、边缘节点处理能力、切换节点对任务完成时间和能耗的影响建立基于边缘计算的无人机目标追踪的系统模型；

步骤2，通过研究无人机目标追踪过程中的任务分配决策问题，将无人机目标追踪过程中的任务分配决策问题建模成马尔可夫决策过程；

步骤3，基于强化学习中的Q学习设计求解算法，对无人机目标追踪过程中的任务分配决策问题进行求解，得出最佳的边缘节点选择方案和发射功率调整方案；

所述步骤1具体包括：

无人机在目标追踪过程中，将拍摄的视频任务卸载到地面边缘节点进行处理，研究无人机在时间T内的工作情况，假设无人机的飞行高度为H(m)，无人机的飞行轨迹投影到地面上表示为q(t)∈R^2×1，0≤t≤T，时间T被离散成M个时隙，即T＝Mδ_t，其中，δ_t表示每个时隙的长度，无人机在一个时隙中位置认为是不变的，无人机的轨迹近似离散为一个集合Q＝{q_m,1≤m≤M}，其中，q_m表示时隙m中无人机的位置，无人机在M个时隙产生的M个任务表示S＝{s₁,s₂,…,s_M}，其中，s_m表示第m个任务的数据量大小，单位为bits，1≤m≤M；

所述步骤1还包括：

假定在城市的一片区域里有k个边缘节点，用集合N＝{n₁,n₂,n₃,…,n_k}表示，n_i表示第i个边缘节点，i∈[1,k]，边缘节点n_i的位置表示为w_i∈R^2×1，考虑到每个边缘节点的计算能力不同和无人机实时移动，无人机到边缘节点的通信距离为变化的，无人机到每个边缘节点的通信距离不同，无人机卸载到每个边缘节点的任务完成时间和产生的能耗也不同，假设在时隙m，将边缘节点n_i选择为计算节点，如下所示：

其中，d_m,i表示无人机与边缘节点n_i之间的距离，q_m表示时隙m中无人机的位置，w_i表示边缘节点n_i的位置，w_i∈R^2×1，H表示无人机的飞行高度；

准静态块衰落信道遵循自由空间路径损耗模型，无人机和边缘节点之间的信道，如下所示：

其中，表示无人机和边缘节点之间的信道，β₀表示参考距离d₀＝1m处的信道功率增益，q_m表示时隙m中无人机的位置，w_i表示边缘节点n_i的位置，H表示无人机的飞行高度；

所述步骤1还包括：

假设发射功率在一个有限的状态空间P_n中调整选择，系统的通信速率R与发射功率和选择边缘节点有关，给定发射功率p_m,i和无人机到边缘节点的距离d_m,i，选择不同的边缘节点，无人机到边缘节点的距离不同，系统的通信速率如下所示：

其中，R_m,i(p_m,i,d_m,i)表示系统的通信速率，单位为bps，p_m,i表示在时隙m中无人机分配给节点n_i的发射功率，B表示信道带宽，σ²表示高斯白噪声功率，表示距离d₀＝1m时的信噪比，表示无人机和边缘节点之间的信道，β₀表示参考距离d₀＝1m处的信道功率增益，q_m表示时隙m中无人机的位置，w_i表示边缘节点n_i的位置，H表示无人机的飞行高度；

所述步骤1还包括：

在无人机进行目标追踪的过程中，无人机将视频任务卸载到边缘节点进行协同处理，无人机进行目标追踪过程的时间开销包括传输时间和计算时间，任务传输时间表示为：其中，R_m,i(p_m,i,d_m,i)表示系统的通信速率，p_m,i表示在时隙m中无人机分配给节点n_i的发射功率，d_m,i表示无人机与边缘节点n_i之间的距离，s_m表示第m个任务的数据量大小，单位为bits；将任务s_m卸载到边缘节点n_i的计算时间为：其中，s_m表示第m个任务的数据量大小，w表示处理单位视频任务量需要的CPU周期，单位为周期数/比特，f_i表示边缘节点n_i的CPU时钟频率，单位为周期数/秒；

假设结果反馈时延是一个固定的很小的值，可以忽略不计，将任务s_m卸载到边缘节点n_i处理的总执行时间为数据传输时间和数据计算时间之和，如下所示：

其中，表示将任务s_m卸载到边缘节点n_i处理的总执行时间，表示数据传输时间，表示数据计算时间；

将执行计算任务的能耗开销，如下所示：

其中，p_m,i表示在时隙m中无人机分配给节点n_i的发射功率，p_idle表示空闲状态下的功率，表示执行计算任务的能耗开销，和分别表示数据传输时间和数据计算时间；

所述步骤1还包括：

当无人机在时隙m连接的边缘节点n_i与在上一个时隙m-1连接的边缘节点n_j不同时，会带来额外的切换开销，包括能耗开销和时间开销，假设切换过程中每个时隙的能耗开销，如下所示：

其中，1_{Ω}表示指示函数，Ω＝n_i∈N∩n_j∈N∩i≠j，如果满足条件Ω，值为1，不满足条件Ω，值为0，j＝max{l:n_l∈N,l∈[1,k],l＜i}，n_l表示第l个边缘节点，N表示k个边缘节点的集合，l表示边缘节点，表示切换过程中每个时隙的能耗开销，表示一次节点切换带来的能耗开销；

假设切换过程中的每个时隙的时间开销，如下所示：

其中，表示切换过程中每个时隙的时间开销，表示一次节点切换带来的时间开销；

结合执行计算任务的能耗开销和切换过程中每个时隙的能耗开销，得出每个时隙m的总能耗开销如下所示：

其中，表示每个时隙m的总能耗开销，表示执行计算任务的能耗开销，表示切换过程中每个时隙的能耗开销；

得出每个时隙m的总时间开销如下所示：

其中，表示每个时隙m的总时间开销，表示执行计算任务的时间开销，表示切换过程中每个时隙的时间开销；

将每个时隙m的任务执行开销定义为能耗开销和时间开销的权重和，如下所示：

其中，表示每个时隙m的任务执行开销，表示每个时隙m的总能耗开销，表示每个时隙m的总时间开销，α表示传输能量消耗的相对权重，α≥0，β表示总延迟的相对权重，β≥0；

假设在时隙m选择边缘节点n_i作为服务节点，决策变量x_mi＝1，时隙m不选择边缘节点n_i作为服务节点，决策变量x_mi＝0，为联合优化无人机的传输功率和边缘节点的选择机制，最小化无人机能耗开销与时间开销的权衡优化问题如下所示：

其中，x_mi表示决策变量，是每个时隙m的任务执行开销；

其中，x_mi表示决策变量。