[发明专利]一种基于重点区域实景建模的视频目标检测与跟踪方法

说明书

本发明公开一种基于重点区域实景建模的视频目标检测与跟踪方法，将重点区域卫星定位信息转化成三维全景地图；对三维全景地图提取高层特征，根据重点区域天气信息对对应视频流进行处理得到清晰的重点区域实景建模视频帧，将一系列帧输入骨干网络提取高级特征再通过空洞残差网络，将目标检测任务化大为小，使用跨模态注意力模块进行多模态信息融合，通过叠加连续帧的特征图得到特征融合图，进而获得连续的目标时空特征，同时结合之前画面帧获得的跟踪边界框，最后匹配目标框和跟踪框实现检测与跟踪任务。本发明对重点区域进行实时实景建模，有效解决重点区域的复杂人流车流造成的目标遮挡与错误跟踪问题，使得算法具有更好的鲁棒性。

技术领域

本发明属于视觉目标检测技术，具体涉及一种基于重点区域实景建模的视频目标检测与跟踪方法，涉及基于空洞残差编码的目标检测算法与实景建模视频跟踪方法属于图像处理领域。

背景技术

目标检测一直以来都是计算机视觉任务中的经典问题，其广泛应用于人脸识别，自动驾驶，智能视频监控等领域，因此成为了近年来的研究热门方向。对于当前的计算机视觉系统，基于视频的场景理解的研究是计算机理解人类行为必不可少的组成。为了估计视频中感兴趣对象的轨迹，目标跟踪是一项重要任务，其应用于许多实际场景中，例如视觉监视，公共安全，体育视频分析和人机交互，因此视频目标检测与跟踪成为了近年来的一个研究重点。

目前的目标检测算法大多运用了特征金字塔结构，该结构一方面可以进行多尺度融合大大提高了特征的丰富程度，另一方面可以将目标检测任务分为若干个子检测任务，达到化繁为简的目的。但是，由于特征金字塔的复杂结构也增加了模型的计算量，提高了计算机的硬件需求。最近，基于注意力机制的Transformer模型被广泛应用于计算机视觉领域，由于该模型具有很强大的关系建模能力，可以建立视频样本的时空依赖关系，也很适合应用在目标跟踪领域。

然而，现有的基于注意力机制的模型在初始化阶段的注意力权重几乎是均匀分配的，但是训练好的模型得到的注意力权重又是稀疏的，也就是说该模型在训练过程中难以收敛。同时，对于一些小目标或是在复杂密集场景中的目标，模型需要的输入图像数据具有较高分辨率，这也增加计算复杂度，限制了该模型在目标检测与跟踪中的应用。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于重点区域实景建模的视频目标检测与跟踪方法，本发明使用单一特征以及分治法构建一个拥有良好性能的目标检测器，可以避免使用比较复杂的特征金字塔模块，只保留高层的特征进行输入，网络也可以保持良好的性能，并且降低计算负担。

本发明为了解决现有技术中存在的问题，提供一种基于重点区域实景建模的视频目标检测与跟踪方法。利用空洞残差编码器来捕获不同感受野特征信息，以此实现将大的检测任务分解为若干小的目标坚持任务，实现各种尺度物体的鲁棒性检测；利用基于稀疏空间采样注意力的方法加速模型收敛并降低运算复杂度。为了达到上述目的，本发明提出的技术方案为。

技术方案：本发明的一种基于重点区域实景建模的视频目标检测与跟踪方法，包括以下步骤：

步骤一、输入重点区域的卫星定位信息L，通过逆地理编码函数得到重点区域的3维全景地图BMAP，然后对重点区域的3维全景地图进行稀疏点采样，得到重点区域的实景建模数据集b＝Ω(BMAP)；接着，将获取到的实景建模数据输入到刚性不变特征提取器，以获取实景建模数据的高层特征S；

步骤二、将步骤一所得重点区域的卫星定位信息L(即经纬度信息)输入天气查询函数Υ(.)中，得到天气信息W_dic后输入雨雾判断器，其作用是解析获得的字典数据，从而判断重点区域是否为良好天气；若非良好天气，则将重点区域的视频流输入到多阶段渐进式图像恢复模块，利用多阶段渐进式图像恢复模块进行图像去雾及去雨等预处理来获取纯净的视频数据；