[发明专利]边缘计算环境中基于时空间优化的多目标跟踪加速方法

说明书

本发明公开了一种边缘计算环境中基于时空间优化的多目标跟踪加速方法，属于边缘计算、视频分析和深度学习领域。该方法包括：步骤1、利用TensorRT推理优化框架对执行多目标跟踪的深度神经网络模型进行结构优化；步骤2、使用基于时空间优化的实时多目标跟踪算法执行模式对多目标跟踪任务执行进行加速；步骤3、针对基于时空间优化的实时多目标跟踪算法中特征提取部分的深度学习推理，建立并求解自适应的端边协同数据并行模型；步骤4、基于步骤3所执行的端边协同数据并行模型，将其结果在进行合并并完成后处理计算，输出多目标跟踪结果。本方法的应用提升了目前目标跟踪视频分析系统的执行速度并最大化利用了系统内的计算资源。

技术领域

本发明涉及边缘计算、视频分析和深度学习领域，具体地说是在边缘计算环境中实现了一种针对实时多目标跟踪应用的时空间加速分析方法。

背景技术

实时多目标跟踪在视频监管、人流统计、自动驾驶和增强现实等应用中发挥着举足轻重的作用，同时群体行为识别和视频理解等高阶视频分析任务也都基于其进行，研究价值重大。多目标跟踪(MOT)是一种视频分析任务。它对到来的输入帧进行逐帧处理并不断检测到其中的观察目标位置(boundingbox)，与此同时还要辨别出不同的观察目标并为其赋予唯一的序号(ID)在视频时间维度上进行标注，最终可以根据这一序号整理出每一个特定观察目标的运动轨迹(tracklet)。

得益于深度学习技术与计算硬件尤其是GPU的大力发展，目前的实时多目标跟踪方法在服务器级别设备上已经能基本实现同时满足精度与速度要求。然而，受限于物联网场景和成本考虑，在进行应用部署时往往无法得到那样富足的计算资源，为此如何实现物联网应用场景下的实时多目标跟踪算法推理成为了一个开放性的挑战。

目前针对视频分析任务的优化方法主要有两条技术路线。其一是对视觉算法做出改进，减小输入量或者压缩模型容量以下降计算规模，比如以跳帧方式处理视频，但它会让准确度大大降低；另外还有通过添加滤波器的方式来选择视频帧进行处理的方法，但它会引入较大的额外开销，且加速效果依赖于视频场景并不通用。其二是引入边缘计算技术，通过补充计算资源的方式实现任务提速，关于这里主要有数据并行、模型并行和混合并行三种方式，其中混合并行实际就是前两者的结合，而一旦涉及模型并行，目前仍未有在推理阶段进行模型并行的高效方案，往往由于模型的拆分会造成额外的通信开销，这会让端边协同机制异常复杂且难以控制，为此设计合理的数据并行模式仍是本发明的首选目标。

最后，模型优化是深度学习应用部署的最后一公里。将模型设计好并完成训练后，仍然可以通过一系列技术完成对模型的进一步结构优化以实现计划无精确度牺牲的加速收益，关于这方面的方案主要有算子融合、张量量化以及模型压缩的方法，但它们的使用难度都比较大且往往需要进行繁琐的重新训练环节以免造成准确度的大幅下降。TensorRT是一种针对深度学习模型推理优化的高级框架，通过它进行硬件相关的模型优化是本发明所采用的一种高效方案。

发明内容

技术问题：面向实时多目标跟踪任务，高精度的深度神经网络模型在推理速度上难以在有限算力下达到实时，而往往高精度推理并不需要对每一帧或者一帧中的全部数据执行，这就造成了目前实时多目标跟踪计算模式在时空间上的计算资源浪费。另外，在边缘计算环境下，如何设计一个端边协同数据并行模型以最大化系统资源利用率也是一大问题。最后还需考虑使用模型优化这一通用深度学习推理优化方法。本发明提出了一种边缘计算环境中基于时空间优化的多目标跟踪加速方法，通过集成使用时空间优化和端边协同数据并行模型以及基于TensorRT的模型结构优化方法达到了在边缘计算环境下加速实时多目标跟踪算法推理速度的目的。

技术方案：本发明是一种边缘计算环境中基于时空间优化的多目标跟踪加速方法，包括以下步骤：

步骤1、利用TensorRT推理优化框架对执行多目标跟踪的深度神经网络模型进行结构优化，具体是将其从PyTorch框架下的模型经过ONNX框架中转为TensorRT模型，优化之前还需为ONNX框架与TensorRT模型所不识别的部分自定义层书写Plugin并连接到具体模型内部；