[发明专利]一种PointTrack框架下基于窗函数的点云采样方法

说明书

本发明涉及一种PointTrack框架下基于窗函数的点云采样方法，包括以下步骤：步骤S1：获取视频图像帧中所有目标的2D边界框，并输入到神经网络中进行分割，得到对应的前景与背景；步骤S2：根据分割结果对边界框在上下左右四个方向进行扩展，并将扩展后割的结果使用窗函数进行点云采样，分别得到前景和背景相对应的2D点云采样结果；步骤S3：将得到的前景点云进行整合，计算对应的颜色特征向量和形状特征向量，将得到的背景点云进行整合，并计算对应的颜色特征向量、形状特征向量以及类别向量，最终将得到的向量串联输入到PointTrak模型中。本发明能够使用窗函数更好的对点云采样进行控制，可以让采样的点更偏向于反应轮廓信息或者颜色信息，提高PointTrack多目标跟踪效果。

技术领域

本发明涉及计算机视觉领域，具体涉及一种PointTrack框架下基于窗函数的点云采样方法。

背景技术

过去的十年中多目标跟踪虽然取得了巨大的发展但是也进入了瓶颈。因此近期一项针对MOT研究的新方向被提出，这种新的多目标跟踪框架称作多目标跟踪与分割，即将检测与跟踪的MOT任务扩展到分割与跟踪的多目标跟踪新框架(MOTS)。经过实验证明这种基于Mask的像素级标注的方法在表现上好过基于2D边框的标注，当目标重叠时可以提供一个比边框更精确的Mask标注。而PointTrack正是用来解决MOTS问题的一种现有框架。

2D图像由像素点组成，选择的像素点数量越多就越能近似表示这一目标。根据在之前的研究中可以发现，被跟踪目标的外形、颜色、大小等对目标相似度计算有很大的影响，所以在将2D图像转化为点云的时候，需要通过一定的采样方法，而PointTrack中采用简单的均匀采样方法，并不能很好的反映目标信息。

发明内容

有鉴于此，本发明的目的在于提供一种PointTrack框架下基于窗函数的点云采样方法，能够使用窗函数更好的对点云采样进行控制，可以让采样的点更偏向于反应轮廓信息或者颜色信息，进一步提高PointTrack多目标跟踪效果。

为实现上述目的，本发明采用如下技术方案：

一种PointTrack框架下基于窗函数的点云采样方法，包括以下步骤：

步骤S1：获取视频图像帧中所有目标的2D边界框，并输入到神经网络中进行分割，得到对应的前景与背景；

步骤S2：根据分割结果对边界框在上下左右四个方向进行扩展，并将扩展后割的结果使用窗函数进行点云采样，分别得到前景和背景相对应的2D点云采样结果；

步骤S3：将得到的前景点云进行整合，计算对应的颜色特征向量和形状特征向量，将得到的背景点云进行整合，并计算对应的颜色特征向量、形状特征向量以及类别向量，最终将得到的向量串联输入到PointTrak模型中。

进一步的，所述步骤S1具体为：

步骤S11：令当前帧所有的目标的2D边界框结合为D＝{di}，di＝{x，y，w，h}，i＝1，2，...N；

其中x、y、w、h分别表示2D边界框的左上角x坐标y坐标以及宽高，N为当前帧目标的总数量；

步骤S12：将所有2D边界框中的目标输入到神经网络中得到相应的前景与背景分割掩码(Mask)，单个目标的Mask记为M_s；M_s＝{m₁，...，m_M}

其中m_i∈{0，1}^h×w。

进一步的，所述步骤S2具体为：