[发明专利]面向无线边缘网络中视频流服务的实时目标检测方法

说明书

本发明公开了一种面向无线边缘网络中视频流服务的实时目标检测方法。针对无线边缘网络链路质量的动态性以及视频流内容的不确定性问题，提出了一个轻量的用来度量无线网络链路的细粒度动态性的标准“帧‑锚帧距离”，整数非线性规划模型、两阶段优化方法。方法包括：第一阶段根据累积追踪误差函数的单调递增性，揭示平均间隔选择最优的规律，依次指导卸载帧的选择；第二阶段基于第一阶段的卸载帧选择结果，调整卸载帧的分辨率，从而实现链路质量与卸载帧质量的匹配，最大化利用实时无线链路资源，进一步提高目标检测准确性，最终保障应用实时性输出的前提下提高检测准确性。本发明适于边缘计算领域。

技术领域

本发明涉及一种目标检测方法，并具体涉及一种面向无线边缘网络中视频流服务的实时目标检测方法。

背景技术

基于视觉的实时目标检测已经成为了许多智慧城市应用的基础服务，它被广泛应用在诸如自动驾驶、交通控制和数字孪生等领域中。例如，在伦敦的摄像头网络中，实时目标检测常被用于智能交通控制和安全检测。在自动驾驶系统中，车辆需要检测并追踪物理对象和路标以避障和自主导航。目标检测通常涉及需要大量计算资源的机器学习方法，终端摄像头设备无法提供足够的算力与资源，不具备在本地运行该类应用的计算能力，因此边缘协同的目标检测成为了一个有前景的解决方案。

在边缘协同的目标检测中，前端设备将捕获到的视频帧卸载到附近的边缘服务器上。服务器执行推理过程并将结果返回给前端设备。实时目标检测需要尽可能低的时延，但由于视频流需要巨大的传输开销和计算工作量，端到端的时延过大，无法满足应用的低时延需求。例如，分析一个30FPS(帧每秒)的720p实时视频要求每帧在33.3ms内返回检测结果。但是一个帧的总延迟可能在100-150ms之间，这个巨大的延迟是无法满足要求的。

为了降低总时延，现有做法引入了一个检测-追踪架构，将选择出的一些帧卸载到服务器上。基于这些选出的帧的检测结果，前端设备使用一个轻量级的追踪器在本地预测剩余帧中物体的位置。通过这种方法，便可以满足实时目标检测中严格的时延要求。

但现有做法往往假设链路是稳定的，而实际情况中链路常会有频繁的变化，具有很强的动态性。这会导致出现意想不到的延迟，或者无法充分利用链路资源，由此可能会显著降低检测的准确性，增大总时延。

鉴于此，一种能够降低目标检测的总延迟，提高目标检测准确性的方法，是本领域所亟需的。

发明内容

为了解决或缓解上述部分或全部技术问题，本发明是通过如下技术方案实现的：

一种面向无线边缘网络中视频流服务的实时目标检测方法，通过前端设备执行本地追踪和边缘服务器执行边缘识别的方式，使得前端设备实时输出目标检测的结果，选择若干关键帧卸载到边缘服务器上，边缘服务器执行目标检测方法检测到目标后，将识别结果返回给前端设备；前端设备得到结果后，在本地运行追踪方法，在其它帧中追踪目标物体，预测剩余帧中的目标位置；并且，前端设备根据帧-锚帧距离执行对待卸载关键帧的选择；其中，所述帧-锚帧距离的定义为：帧f_i的帧-锚帧距离θ_i定义为：其中n_i是帧f_i的帧序号，表示帧f_i的锚帧的序号；锚帧是结果在帧f_i的输出时间to_i之前返回的上一帧；即：其中，to_i是帧f_i的输出时间；是帧f_i的可用锚帧的集合；为帧f_k检测结果的预估返回时间，是由该帧被捕获的时间、帧的上传时间、边缘服务器的处理时间以及计算结果的下载时间计算得出。

在某实施例中，选择每个窗口内精度退化最小的帧进行卸载。

在某实施例中，选择每个窗口内精度退化最小的帧是基于目标函数：