[发明专利]边缘计算环境中基于时空间优化的多目标跟踪加速方法

权利要求书

1.一种边缘计算环境中基于时空间优化的多目标跟踪加速方法，该方法包括以下步骤：

步骤1、利用TensorRT推理优化框架对执行多目标跟踪的深度神经网络模型进行结构优化，具体是将其从PyTorch框架下的模型经过ONNX框架中转为TensorRT模型，优化之前还需为ONNX框架与TensorRT模型所不识别的部分自定义层书写Plugin并连接到具体模型内部；

步骤2、使用基于时空间优化的实时多目标跟踪算法执行模式对多目标跟踪任务执行进行加速，所述基于时空间优化的实时多目标跟踪算法执行模式将所有的视频帧分为三类：全局检测帧、局部检测帧和普通帧，这三类将周期性地出现，具体地，全局检测帧直接对全图通过神经网络识别模型进行精确识别，从而周期性地校准更新结果，并将结果输入到一个基于DBSCAN算法的密度划分器，按照当前的检测结果判断区域密度，划分出密度最为密集的一个区域，作为密集区域；局部检测帧，当前帧的视频输入会根据密度划分器的划分结果，仅对密集区域执行精确识别，而除密集区域外输入帧剩余图像部分的目标将直接被运动学模型快速预测出结果；对于普通帧的结果将直接通过运动模型预测得到；

步骤3、基于步骤2，针对实时多目标跟踪算法中特征提取部分的深度学习推理，使用自适应的端边协同数据并行模型，根据端边设备算力和网络环境状况建立用于决策终端上本地任务和远程卸载任务划分比例的整数规划模型，在每次任务到来时进行求解所述的整数规划模型得到每次的最优端边任务调度策略；

步骤4、基于步骤3所执行的自适应的端边协同数据并行模型，将其结果在终端设备上进行合并并完成最终的后处理计算，输出多目标跟踪结果。

2.根据权利要求1所述的边缘计算环境中基于时空间优化的多目标跟踪加速方法，其特征在于：步骤1中所述从PyTorch框架下的模型经过ONNX框架中转为TensorRT模型具体包括以下步骤：

步骤101、将深度神经网络模型从PyTorch转换为ONNX模型，为其中的自定义算子在PyTorch中定义的DCN类加入一个symbolic函数，然后通过设置ONNX模型的导出模式为强制导出模式，同时在ONNX模型的强制导出时加入dynamic_axes选项参数支持动态shape；

步骤102、为深度神经网络模型中TensorRT所不支持的算子编写相应的Plugin，编写的Plugin基于算子的CUDAkernel进行符合TensorRTPlugin要求的包装即可；

步骤103)将ONNX模型导入为TensorRT模型，这部分依靠trtexec工具实现，并将步骤102)编写的Plugin接入转换过程，得到最终的TensorRT模型。

3.根据权利要求1所述的边缘计算环境中基于时空间优化的多目标跟踪加速方法，其特征在于：步骤2中所述基于时空间优化的实时多目标跟踪算法执行模式对多目标跟踪任务执行进行加速具体包括以下步骤：

步骤201、在时间维度上，对视频帧序列按周期进行分类，分类为全局检测帧、局部检测帧和普通帧，令每个周期的第一帧为全局检测帧，随后若干帧为普通帧，普通帧后的其他帧为局部检测帧；重复所有的周期直至完成分析任务；其中全局检测帧会进入步骤202，局部检测帧会进入步骤203，普通帧会进入步骤204；

步骤202、全局检测帧的全部图像直接输入到自适应的端边协同数据并行模型以启用神经网络识别模型进行全局推理，周期性地进行全局检测帧以及时在稀疏区域发现新出现的目标以及进入一个基于DBSCAN算法的密度划分器，基于DBSCAN算法的密度划分器根据在检测结果划分出密集区域和非密集区域，周期性进入全局检测帧以应对图像中目标分布的变化来调整更新密集区域与稀疏区域的划分情况；

步骤203、局部检测帧根据在全局检测帧最后的密集区域划分结果来从视频帧中裁剪出密集区域送入自适应的端边协同数据并行模型内；而稀疏帧内的当前结果将直接根据一个基于卡尔曼滤波的运动学模型预测得到；

步骤204、普通帧的结果直接全部采用基于卡尔曼滤波的运动学模型进行预测得到。