[发明专利]一种基于深度强化学习的多设备边缘视频分析系统

权利要求书

1.一种基于深度强化学习的多设备边缘视频分析系统，其特征在于，包括边缘服务器以及与所述边缘服务器通信连接的多移动设备；

所述边缘服务器上部署有用于视频分析的深度学习模型，用于支持多分辨率输入的检测任务，所有移动设备共享一个无线上行链路用于向所述边缘服务器发送视频帧，所述边缘服务器上部署的深度学习模型用于对接收的视频帧进行视频分析，生成视频分析任务结果，所述移动设备用于通过无线下行链路下载所述视频分析任务结果；

其中，基于边缘服务器的实时视频分析任务包括本地退化、帧卸载、边缘处理和结果提交四个步骤；

所述本地退化为每个移动设备在传输视频帧之前先对视频帧进行分辨率压缩处理；所述帧卸载为在视频帧进行分辨率压缩处理之后通过无线上行链路卸载到边缘服务器；所述边缘处理为在边缘服务器接收到视频帧之后，边缘服务器使用预训练的深度学习模型进行视频分析任务；所述结果提交为边缘服务器通过无线下行链路将识别的结果下载到移动设备；

所述多设备边缘视频分析系统还用于做出离散取值的分辨率压缩率和连续取值的带宽分配的最优决策，并命名为DBAG算法，所述DBAG算法中使用Transformer层作为Actor网络和Critic网络的网络主干，以捕获多尺度的时间依赖关系；

所述DBAG算法包括行动者模块、环境模块、经验回放模块以及评论家模块四部分；

所述行动者模块通过观察环境模块信息，其中，为上一时刻的决策下的边缘视频分析推理的置信度，为上一时刻决策下的本地降采样延时，为上一时刻的决策下的卸载延时，为上一时刻决策下的边缘推理延时，为当前信道增益，为上一时刻智能体作出的动作，并计算得当前的环境模块状态，将环境模块状态输入行动者模块深度神经网络中，产生当前的帧退化决策，在固定的情况下，通过无线网络模型建立求解最优带宽分配的凸优化数学模型，行动者模块网络和凸优化求解程序联合构建了DBAG中的行动者模块，基于输入环境模块状态，生成当前的帧退化和频谱分配决策，其中，为在t时刻的带宽分配策略；

所述环境模块用于边缘视频分析系统根据所计算调整移动设备退化率、上行频谱分配方案，并将边缘推理结果反馈至边缘设备，根据所采集的当前回报，形成新的训练样本；

所述经验回放模块用于边缘视频分析系统将最新采集的训练样本存入经验回放模块内存，当回放内存所存样本数大于256时，分析系统随机采样256个样本，对评论家模块网络进行训练、更新网络参数；

所述评论家模块用于利用当前参数下的评论家模块网络，对行动者模块网络进行训练，以求得到一个新的策略，最大化；

其中，为在t时刻的环境状态，为在t时刻智能体所作出的动作决策，为用于权衡t时刻瞬时奖励和未来奖励的折扣因子 。

2.如权利要求1所述的基于深度强化学习的多设备边缘视频分析系统，其特征在于，每个所述移动设备都由单天线与所述边缘服务器进行通信。

3.如权利要求2所述的基于深度强化学习的多设备边缘视频分析系统，其特征在于，边缘服务器的深度学习模型在进行视频分析任务时，还用于实时获取检测的置信度，并作为视频分析准确度的近似代替。

4.如权利要求1所述的基于深度强化学习的多设备边缘视频分析系统，其特征在于，在所述多设备边缘视频分析系统中，还包括通过一个实时顺序决策的MDP问题描述多目标优化，优化目标的最优决策为一个MDP的解，所述MDP问题定义为一个元组：,其中表示状态、表示决策、表示转移概率、表示回报、表示折扣因子。

5.如权利要求1所述的基于深度强化学习的多设备边缘视频分析系统，其特征在于，所述DBAG算法在Actor模块中采用了一层嵌入层、一层Transformer层、一层全连接层，在Critic模块中采用了两层嵌入层、一层Transformer层、一层全连接层。

6.如权利要求1或5所述的基于深度强化学习的多设备边缘视频分析系统，其特征在于，所述边缘服务器使用YOLOv5模型构建视频分析的应用程序，所述多设备边缘视频分析系统中还包括两个视频分析数据集以验证提出的模型的有效性，两个视频分析数据集为无人机视图数据集Vis- Drone2019和城市道路驾驶数据集SelfDriving。

7.如权利要求6所述的基于深度强化学习的多设备边缘视频分析系统，其特征在于，所述行动者模块包括离散的视频帧分辨率压缩决策和连续的无线带宽分配决策两部分，所述离散视频帧分辨率压缩决策以为输入，返回视频帧分辨率压缩决策；所述连续无线带宽分配决策，即凸优化器，以作为输入，并返回带宽分配决策；

所述评论家模块使用n-步状态值，根据n-步贝尔曼残缺进行评论家模块网络的学习。