[发明专利]一种支持移动设备的多视频流卸载方法及系统

权利要求书

1.一种支持移动设备的多视频流卸载方法，其特征在于，包括以下步骤：

S1:首先视频提供商在离线阶段提供一个平台感知的轻量化多视频流分析模型，并根据用户端使用的设备的计算能力对进行视频分析的深度学习模型提供相匹配的轻量化压缩模型；

S2:然后根据时间戳和视频流的标志对多个视频流进行融合和初步分析，并将分析结果作为后续实时帧卸载调度时的输入；

S3:当终端设备完成多个视频流的初步分析与融合后，进行实时帧卸载调度，根据当前的上下文信息，对融合后的视频帧进行决策；

S4:然后，对视频帧的运行进行分析，根据实时帧卸载调度的结果，在响应的终端设备上包括协作的边缘服务器和边缘设备上运行响应的深度学习分析模型；

S5:完成视频帧的运行分析后，实时以单线程方式运行在用户的终端设备上进行异常检测和异常恢复，提供对实时的网络状态和协作设备的连接状态、以及其他协作计算的异常进行检测监控，并及时反馈异常。

2.根据权利要求1所述的支持移动设备的多视频流卸载方法，其特征在于，步骤S1中，轻量化多视频流深度分析模型是基于教师网络和学生网络，不同的视频流分析任务通过教师网络中学习特征表示，提升适配终端大小的学生网络的进度，从而生成供在线阶段部署推理的分析模型。

3.根据权利要求2所述的支持移动设备的多视频流卸载方法，其特征在于，所述轻量化多视频流深度分析模型采用VGG16-SSD的高精度目标检测网络做作为教师网络，从中提取特征并将其传递到轻量化的学生网络中；所述学生网络采用轻量化MobileNet-SSD网络，通过控制网络层的数量来提供面向不同算力的终端设备相匹配的深度学习视觉处理模型。

4.根据权利要求1所述的支持移动设备的多视频流卸载方法，其特征在于，步骤S2中，对多视频流进行初步分析时，首先实时计算融合后的多流视频帧t时刻的一维图片信息熵，并将t时刻一维信息熵和t-1时刻的二维信息熵共同作为输入提供至实时卸载调度计算t时刻的二维信息熵，并对缓存的t-1时刻二维信息熵进行更新。

5.根据权利要求1所述的支持移动设备的多视频流卸载方法，其特征在于，步骤S4中，进行实时卸载调度，首先需要建立并离线训练用于在线调度的随机森林决策算法，将终端设备和协作计算设备之间的带宽、设备的实时可用资源利用率、时间、设备的位置信息和视频帧的信息熵这些上下文信息作为关键特征训练决策。

6.根据权利要求1所述的支持移动设备的多视频流卸载方法，其特征在于，视频帧运行分析主要是运行在不同的计算设备上根据实时卸载调度的计算结果从任务发起设备上接收到需要实时处理的视频帧，并根据当前设备的计算能力和状态加载预部署的深度学习分析模型进行推理计算。

7.根据权利要求6所述的支持移动设备的多视频流卸载方法，其特征在于，若当前视频帧被调度到任务发起设备本地或计算力较弱的协作终端设备上则以单线程批处理的方式加速推理；若当前视频帧是被调度到计算力充足的边缘服务器上，则以多线程批处理的方式对视频帧的计算进行加速。

8.根据权利要求1所述的支持移动设备的多视频流卸载方法，其特征在于，步骤S5中，异常检测监控主要是通过一个实时运行在终端设备上的监测线程并维护一张实时状态表来注册、监测终端设备和协作设备的实时资源状态以及网络带宽信息，当终端设备监测到异常现象时，则通过唤醒恢复线程来处理当前任务并及时更新状态表。

9.一种支持移动设备的多视频流卸载系统，包括轻量化视频分析深度学习模型生成模块、在线阶段的多流视频帧预分析模块、实时帧卸载调度模块、视频帧运行分析模块、异常检测和恢复模块，其中，

所述轻量化视频分析深度学习模型生成模块，运行在配备GPU计算资源的云资源上，是根据用户端使用的设备的计算能力对视频进行分析的深度学习模型而提供的相匹配的轻量化压缩模型；

所述在线阶段的多流视频帧预分析模块，为对多个视频流内容进行初步实时分析，即根据时间戳和视频流的标志对多个流进行融合并将分析结果作为实时帧卸载调度模块的输入；

所述实时帧卸载调度模块，是根据当前的上下文信息对融合后的视频帧进行决策，决策的结果是对当前视频帧在本地终端上还是协作的终端设备上进行帧内容分析；

所述视频帧运行分析模块，主要是根据实时帧卸载调度的结果在响应的设备上包括协作的边缘服务器和边缘设备上运行响应的深度学习分析模型，在终端设备和低算力的协作设备上使用单线程批处理技术进行推理，而在强算力的边缘服务器上采用多线程技术进行加速；

所述异常检测和恢复模块，主要实时以单线程方式运行在用户的终端设备上，对实时网络状态和协作设备的连接状态以及其他协作计算的异常进行监控，并及时将异常反馈，此外，会对于异常状态中重新恢复的模块提供协作计算的恢复。