[发明专利]一种基于轻量级学习的实时服务迁移方法

说明书

本发明公开了一种基于轻量级学习的实时服务迁移方法，构建了一个面向动态边缘网络的服务协同迁移框架，并构建了一个双目标优化问题以便同时优化服务性能和成本。针对该问题，提出了一种基于全局状态的离线专家策略，以提供最优结果作为专家轨迹。为了实现基于可观测状态的实时服务协作迁移，本发明基于模仿学习提出了一个轻量级的在线智能体策略来模仿专家轨迹，并利用元更新来加速模型迁移。实验性能结果表明，与其他代表性算法相比，本发明提出的方案能够显著提升迁移性能的同时降低训练成本，在不同的工作负载下，在服务时延、支付成本等多个指标上都具有明显优势。

技术领域

本发明涉及动态边缘网络中实时服务的协作迁移方法，尤其涉及一种基于模仿学习的服务迁移算法和基于元学习的模型迁移加速算法。

背景技术

增强型移动宽带已推动5G成为商业现实。随着向6G的过渡，智能设备的快速扩展和实时应用的爆炸式增长，催生了全息通信、数字孪生和增强现实等最先进的服务需求，产生了大量需要及时处理的数据，2028年全球移动流量将达到1ZB/月，相当于全球50亿用户每月花费200GB。迫切的计算能力要求是资源有限的边缘网络面临的重大挑战。当前设备功能不完善，导致实体业务的时效性要求受限与边缘资源受限。

更新或维护硬件的高昂费用限制了新型服务商业化的发展。为了保证实时服务的性能，资源(包含计算、通信和缓存)根据服务会话声明的要求进行预留。然而，服务执行需要多个边缘设备之间的异构资源，高度依赖于全球网络状态。由于信息被隔离在独立的设备上，边缘设备由于通信能力有限而无法观察全局状态。然而，与中央节点的频繁交互，例如基站或其他具有强大传感器的基础设施，加重了网络负担并威胁到私人信息。因此，一个基本问题是如何设计轻量级和分布式代理策略，以使设备能够实时做出最优决策的自主服务合作，尤其是对于动态边缘网络。研究该问题面临的挑战如下：

1.资源竞争在能量有限的移动设备中更加激烈。单一服务提供者不仅增加了租金负担，而且降低了资源利用效率。因此，如何调度服务并组合管理异构资源以优化服务请求者的体验质量值得研究。

2.用户在现实世界中是自私和理性的，在出租资源方面有不同的意愿。因此，有必要设计一种有效的定价机制来激励设备并通过在稳定但有竞争力的基础设施资源和分散但可用的设备资源之间做出令人满意的权衡来向请求者提供服务。

3.学习算法所产生的训练成本、通信负载和收敛速度导致时敏服务质量急剧下降。为分布式决策设计一个支持在线的轻量级学习策略是相当具有挑战性的。

发明内容

本发明旨在设计一种高效的异构资源集成方案提供实时服务的优化服务性能和服务成本，本发明建立了一个支持实时服务协作迁移的动态边缘系统，。为了最小化服务执行的时延和支付，本发明设计了一种轻量级连续模仿的服务协作迁移算法，提出了一种基于匹配的离线专家策略，并用于为智能体提供专家策略，基于获得的专家数据集，利用模仿学习通过最小化状态-动作对分布的误差来设计分布式智能体策略以拟合专家策略。该方法摆脱了传统算法的高学习负载和降低了学习成本，并利用元更新来加速模型训练以实现轻量级连续模仿。

主要发明内容总结如下：

1.本发明构建了基于资源组合优化的智能服务合作迁移框架，并提出了能够反映服务合作意愿的定价机制。该问题被表述为一个双目标优化问题，以最小化执行时延和支付，并将双目标问题分解为选择执行设备并通过分析最优执行时延来确定最优迁移率。

2.本发明提出了一种基于模仿学习的在线服务合作迁移策略(imitationLearning-based Online Service cooperative migration policy，下文简称LOS)。并提出了一种离线专家策略得到最优匹配结果来为智能体生成专家轨迹数据集。

3.本发明提出了一个轻量级的在线智能体策略，通过模仿获得的专家轨迹数据集在线决策。为了克服专家数据集的陈旧性，本发明应用元学习来加速迁移模型以更新代理策略，以减少模型持续训练的工作量。