[发明专利]一种基于深度强化学习的多设备边缘视频分析系统

说明书

本发明涉及计算机技术领域，具体涉及一种基于深度强化学习的多设备边缘视频分析系统。该系统包括边缘服务器以及与所述边缘服务器通信连接的多移动设备；所述边缘服务器上部署有用于视频分析的深度学习模型，用于支持多分辨率输入的检测任务，所有移动设备共享一个无线上行链路用于向所述边缘服务器发送视频帧，所述边缘服务器上部署的深度学习模型用于对接收的视频帧进行视频分析，生成视频分析任务结果，所述移动设备用于通过无线下行链路下载所述视频分析任务结果。本发明具备在线联合退化自适应和通信资源分配，在边缘视频分析任务中缺少实时GT时使用模型输出的置信度近似表示视频分析准确度，同时采用n‑step奖励保证训练的稳定性。

技术领域

本发明涉及计算机技术领域，具体涉及一种基于深度强化学习的多设备边缘视频分析系统。

背景技术

近年来，公共安全和交通基础设施设备的数量迅速增加。自动送货车和无人机之类的智能设备，在实时分析拍摄的视频来捕获暴力检测、交通监控、自动驾驶等方面有着广泛的应用。由于计算资源和电池容量的限制，这些资源受限的移动设备(Mobile Device,MD)需要将视频发送到远程服务器，以运行繁重的深度学习推理模型。在云端进行大规模的数据传输和处理会导致极高的端到端延迟，制约了实时边缘视频分析的应用。

随着移动边缘计算(Mobile Edge Computing, MEC)技术的发展，为高延迟视频分析系统提出了全新的解决方案。通过卸载深度学习推理任务到边缘服务器(EdgeServer)上，可以显著降低MD的硬件需求，并缓解视频数据上传到云端的传输延迟。但是，由于MD与边缘服务器之间的带宽有限且高动态，这导致视频在上传到边缘服务器进行分析处理时，依然面临不可忽略且高动态的传输延迟。因此，国内外的许多研究努力致力于通过有效的计算卸载来实现准确性和延迟之间的权衡。

近年来，有学者研究了联合分辨率退化自适应和计算资源分配问题，以在精度和延迟约束下最大限度地支持MD的数量；有学者研究如何实现大规模系统，并提出了一种通过结合自适应视频退化和无线电资源分配来实现能源效率最大化的视频分析系统。然而，联合退化自适应和计算资源分配问题涉及到求解混合整数非线性规划(Mixed IntegerNon-LinearProgramming，MINLP)的问题。解决这类问题通常需要极高的计算复杂度。此外，这些方法都依赖于统计模型或离线训练。当系统参数发生变化时（如内容变化的检测精度等），MINLP通常需要重新制定和求解。因此，在一个高度动态的视频分析系统中实现基于统计模型或离线训练的优化算法成本过高。

另一方面，随着强化学习算法的快速发展，为高度动态的视频分析系统提供了新的可能。具体地，联合退化自适应和计算资源分配问题可以描述为一个马尔科夫决策问题(Markov Decision Process, MDP)，并且可以通过强化学习实现退化自适应和计算资源分配端到端的联合优化。

本发明通过预实验分析了一般的视频分析任务和边缘视频分析任务的三个明显的区别：1）时间相关性：在一个时间段内序列帧的推理精度是强相关的；2）时间差异性：随着视频时间的推移，视频分析的精准度会根据时间的推移产生变化；3）内容退化敏感性：在整个视频中，视频帧的分析精度对于视频压缩的敏感程度有所区别，因此对不敏感的视频帧，可以在不影响视频分析精度的情况下，对视频帧进退化，然后分流到边缘进行视频分析任务以减少通信和计算延迟。

因此，面向高动态网络的实时视频分析算法，当前计算卸载或基于离线训练的视频分析算法的相关工作面临以下挑战：

1）缺少对视频退化率与分析精度之间的时变性的考虑；

2）实时真实值(Ground Truth, GT)的缺失；

3）在边缘视频分析中，由于退化决策通常是非线性的，这导致的二进制取值的计算分流算法对于样本有效率较低。

发明内容

为解决上述技术问题，本发明提供了一种基于深度强化学习的多设备边缘视频分析系统。