[发明专利]一种支持移动设备的多视频流卸载方法及系统

说明书

本发明公开了一种支持移动设备的多视频流卸载方法，包括首先对进行视频分析的深度学习模型提供相匹配的轻量化压缩模型；根据时间戳和视频流对多视频流的融合初步分析；当完成融合初步分析后进行实时帧卸载调度，根据当前的上下文信息对融合后的视频帧进行决策；分析视频帧运行，根据实时帧卸载调度的结果，在终端设备上包括边缘服务器、边缘设备上运行响应的深度学习分析模型；完成视频帧的运行分析后实时以单线程方式运行在终端设备进行异常检测和异常恢复，并及时反馈异常。本发明通过在不同的计算设备上根据不同的可用资源状态实现加速推理计算，提高了多视频流的实时分析效率。

技术领域

本发明涉及多媒体与视频分析技术领域，具体来说，涉及一种支持移动设备的多视频流卸载方法及系统。

背景技术

随着芯片技术和移动设备制造业的快速发展，在移动设备上配备具有不同功能的多个摄像头并实现深度视觉分析的需求变得越来越迫切。在移动设备上启用多流分析可以同时处理多个摄像头，以改善对复杂场景的感知。此外，当前先进的移动设备交互需要高效的多视频流处理能力。一个典型的场景是移动增强现实眼镜，它使用多个摄像头来感知真实世界的环境，同时识别用户的手势以提供更好的交互。另一个例子是无人机，它通常配备四个以上的摄像头，以获取复杂任务分析的多角度视频流。然而，以简单的多线程方式实现多流处理具有挑战性，这是因为本机执行中密集计算与有限资源之间的矛盾，同时，卸载方案中的高传输能耗、严重带宽和云资源依赖性。本发明方法的特点和创新就是设计了一个新的移动深度视觉分析框架，支持移动设备上的多流分析。该系统通过将各种流混合到一个混合处理管道中，利用了高效和统一的调度，并将带宽、帧内容等关键上下文应用到在线视频帧卸载调度中，优化协作设备上的多视频流分析计算问题。

发明内容

针对相关技术中的上述技术问题，本发明提出一种支持移动设备的多视频流卸载方法及系统，能够克服现有技术方法的上述不足。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种支持移动设备的多视频流卸载方法，包括以下步骤：

S1:首先视频提供商在离线阶段提供一个平台感知的轻量化多视频流分析模型，并根据用户端使用的设备的计算能力对进行视频分析的深度学习模型提供相匹配的轻量化压缩模型；

S2:然后根据时间戳和视频流的标志对多个视频流进行融合和初步分析，并将分析结果作为后续实时帧卸载调度时的输入；

S3:当终端设备完成多个视频流的初步分析与融合后，进行实时帧卸载调度，根据当前的上下文信息，对融合后的视频帧进行决策；

S4:然后，对视频帧的运行进行分析，根据实时帧卸载调度的结果，在响应的终端设备上包括协作的边缘服务器和边缘设备上运行响应的深度学习分析模型；

S5:完成视频帧的运行分析后，实时以单线程方式运行在用户的终端设备上进行异常检测和异常恢复，提供对实时的网络状态和协作设备的连接状态、以及其他协作计算的异常进行检测监控，并及时反馈异常。

进一步地，步骤S1中，轻量化多视频流深度分析模型是基于教师网络和学生网络，不同的视频流分析任务通过教师网络中学习特征表示，提升适配终端大小的学生网络的进度，从而生成供在线阶段部署推理的分析模型。

进一步地，所述轻量化多视频流深度分析模型采用VGG16-SSD的高精度目标检测网络做作为教师网络，从中提取特征并将其传递到轻量化的学生网络中；所述学生网络采用轻量化MobileNet-SSD网络，通过控制网络层的数量来提供面向不同算力的终端设备相匹配的深度学习视觉处理模型。

进一步地，步骤S2中，对多视频流进行初步分析时，首先实时计算融合后的多流视频帧t时刻的一维图片信息熵，并将t时刻一维信息熵和t-1时刻的二维信息熵共同作为输入提供至实时卸载调度计算t时刻的二维信息熵，并对缓存的t-1时刻二维信息熵进行更新。