[发明专利]一种基于联邦学习的车联网时延敏感型应用卸载方法

权利要求书

1.一种基于联邦学习的车联网时延敏感型应用卸载方法，其特征在于所述方法包括如下步骤：

步骤一、确定基于MEC的车联网网络架构

所述基于MEC的车联网网络包含RSU、MEC边缘服务器和车辆三种实体，其中：RSU用集合表示，M表示RSU总数量，RSU编号m∈[1,M]；所有车辆用集合表示，N表示车辆总数量，车辆编号n∈[1,N]；所有RSU沿单向直线道路均匀分布，每一个RSU上都配置有MEC边缘服务器，MEC边缘服务器的计算资源集合为f_m为第m个RSU的计算资源，且这些RSU为在道路上行驶的车辆提供通信和计算服务的全面覆盖，车辆通过无线通信与RSU连接，从而将车辆产生的时延敏感型应用交由RSU上的MEC边缘服务器进行计算；

步骤二、建立应用程序模型

步骤二一、将每一个车辆在随机时刻产生的时延敏感型应用划分为互相有依赖关系的子任务，车辆n产生的任务的输入输出依赖关系用有向无环图表示，子任务的总数量用T表示，则的任务集合用表示；表示顶点的集合，中的每一个顶点都代表一个子任务i，相关参数C_n,i表示车辆n产生的应用程序分割后的第i个子任务的所需计算资源；表示边的集合，如果边存在，则代表子任务i与子任务j之间存在依赖关系，即子任务i是子任务j的前导子任务，用O_n,i,j表示子任务之间传输数据的大小；

步骤二二、令卸载决策变量λ_n,m,i∈{0,1}代表车辆n的第i个子任务是否选择在第m个RSU上的MEC边缘服务器上计算，若选择在第m个RSU上的MEC边缘服务器上计算，则λ_n,m,i＝1，反之为0；

步骤二三、令资源分配决策变量f_n,m,i代表第m个RSU上的MEC边缘服务器为车辆n产生的应用程序分割后的第i个子任务分配的计算资源；

步骤二四、定义车辆n的所有子任务的决策变量为λ_n＝λ_n,1,1,...,λ_n,1,T,...,λ_n,m,i,...,λ_n,M,1,...,λ_n,M,T)，所有子任务的资源分配决策变量为f_n＝(f_n,1,1,...,(f_n,1,T,...,f_n,m,i,...,f_n,M,1,...,f_n,M,T)；

步骤二五、定义子任务i的所有直接前导子任务集合用pred(i)表示，子任务i的所有直接后继子任务集合用succ(i)表示；

步骤三：确定MEC节点协作方案

步骤三一、车辆在随机时刻产生一个时延敏感型的应用，此时车辆接收到所在的RSU广播的所有RSU目前的计算资源信息并根据进行决策；

步骤三二、车辆将所有的输入数据以及决策信息上传至车辆目前所在的RSU，该RSU根据车辆的决策信息利用RSU之间的有线传输将各个子任务分发给各个车辆决策卸载的RSU上，请求与它们相连的MEC边缘服务器协作计算；

步骤三三、当所有的子任务计算完毕，即得到最终的计算结果后，RSU将计算结果传输到此时车辆所处的RSU上，并将结果回传到车辆上；

步骤四、建立系统模型并得到优化问题

通过通信模型和计算模型推导出车辆n产生的应用程序的计算时延t_n，得到如下的优化问题：

t_n≤t^max

其中，t_n代表完成车辆n产生的应用程序的计算时延，t^max代表完成这个任务的最大截止时间；约束条件1及约束条件2代表每一个子任务仅能选择一个RSU进行计算且必须选择一个RSU；约束条件3代表第m个RSU上的MEC边缘服务器为车辆n的第i个子任务分配的计算资源需要大于0且小于等于该RSU上的MEC边缘服务器剩余的计算资源；约束条件4代表完成该任务所需的总计算时延需小于等于完成这个任务的最大截止时间；

步骤五、设计DDQN与FL相结合的算法并求解优化问题

步骤五一、建立马尔可夫决策过程

状态空间包括车辆产生的时延敏感型应用的传输数据量大小和所需计算资源变化的信道增益实时变化的车辆速度和位置RSU中MEC边缘服务器的剩余计算资源v_n为车辆n的速度，x_n为车辆n当前所在的位置；

动作空间包括以及资源决策变量λ_n,i为车辆n的第i个子任务决策卸载的RSU的索引号；

奖励函数为总计算时延的负值，即-t_n；

步骤五二、设计DDQN与FL相结合的算法

步骤五二一、在客户端即车辆端和中心端建立拥有相同结构的Q网络和Target Q网络，并对Q网络所有参数θ与Target Q网络所有参数θ’进行初始化，其中θ’＝θ；

步骤五二二、初始化状态s与经验回放池；

步骤五二三、在客户端的Q网络中输入状态s，得到所有动作对应的Q值，用ε贪婪算法选择动作a，通过当前状态s与动作a得到执行该动作可获得的奖励r和下一时刻的状态s’，将[s,a,r,s’]存入经验回访池，再令下一时刻的状态s’替代当前状态s；

步骤五二四、若此时的存储次数满足学习间隔步长，则开始训练神经网络，具体步骤如下：

从经验回放池中采样b个样本计算当前目标Q值，利用均值方差损失函数，通过梯度反向传播更新Q网络的参数，若训练次数满足目标网络更新步长，则将Q网络的参数复制到Target Q网络中，即θ’＝θ；若训练次数满足聚合步长，则将中心服务器选中的客户端的Q网络和Target网络参数上传至中心服务器中进行聚合，然后，中心服务器将聚合后的参数下发至所有的客户端，客户端更新本地模型参数；

步骤五二五、重复步骤五二四，直至模型达到收敛；

步骤五三、利用DDQN与FL相结合的算法求解优化问题

将当前状态s输入至已经训练好的网络，利用DDQN与FL相结合的算法求解上述优化问题，以得到可以使总计算时延最小的卸载决策，包括每一个子任务i的卸载位置以及第m个RSU上的MEC边缘服务器为车辆n的第i个子任务分配的计算资源。