[发明专利]一种多深度相机融合的人体空间定位与跟踪方法

说明书

本发明涉及一种多深度相机融合的人体空间定位与跟踪方法，具体包括以下步骤：S1.获取RGB‑D相机拍摄的连续的RGB图像、深度图像以及RGB‑D图像，转换为点云并融合，得到图像点云；S2.根据PCL点云库进行检测，提取出目标对象的点云作为目标点云；S3.根据目标点云，通过点云匹配和粒子滤波算法进行空间定位；S4.空间定位内的点云作为搜索区域点云，目标点云作为目标模版点云输入Point‑to‑Box网络，训练得到跟踪器模型，通过跟踪器模型检测连续的RGB‑D图像中的目标对象，实现对目标对象的跟踪。与现有技术相比，本发明具有减少多行人重叠遮挡下的检测与跟踪误差、提高目标对象检测跟踪的稳定性等优点。

技术领域

本发明涉及计算机图像处理技术领域，尤其是涉及一种多深度相机融合的人体空间定位与跟踪方法。

背景技术

视觉跟踪问题是当前计算机视觉领域中的热点问题，而在动态环境中对运动目标进行实时、鲁棒的跟踪是其重要的组成部分，视觉跟踪在自动监控、人机交互、医学图像处理、虚拟现实等领域有着广泛的应用口。常用的用于目标跟踪平台有OpenCV和点云库(Point Cloud Library，PCL)，均为用于计算机视觉和图像处理的开源平台，但是侧重点不同，OpenCV主要针对2D信息获取与处理，PCL主要用于在3D信息获取与处理。三维图像包含颜色信息和深度信息，对光照的敏感性较低，Kinect是常用的深度相机，可以获取红外图像、深度图像、彩色图像以及点云数据。目前大多数算法把目标跟踪问题细化为目标检测、数据关联以及目标模型更新共3个子问题，传统的目标跟踪采用先检测后跟踪的两步法跟踪策略，跟踪稳定的必要条件是能准确持续地检测目标。然而，点云数据因频繁受到遮挡，或观测视角变化的影响，常出现过分割和欠分割，目标点云检测结果具有不确定性，并且目前3D基于Kinect深度摄像机的目标检测与跟踪框架延迟高，达到实时性相对也较难，导致检测跟踪的稳定性较差。

发明内容

本发明的目的就是为了克服上述现有技术存在的目标点云检测结果具有不确定性、检测跟踪的稳定性较差的缺陷而提供一种多深度相机融合的人体空间定位与跟踪方法。

本发明的目的可以通过以下技术方案来实现：

一种多深度相机融合的人体空间定位与跟踪方法，具体包括以下步骤：

S1.获取RGB-D相机拍摄的连续的RGB图像、深度图像以及RGB图像转换到深度图像的变换矩阵的RGB-D图像，所述RGB图像、深度图像和RGB-D图像转换为点云并融合，得到图像点云；

S2.根据PCL点云库对所述图像点云进行检测，提取出目标对象的点云作为目标点云；

S3.根据所述目标点云，通过点云匹配和粒子滤波算法在新获取的RGB-D图像中对目标对象进行空间定位；

S4.将所述空间定位内的点云作为搜索区域点云，所述目标点云作为目标模版点云输入到Point-to-Box网络，所述Point-to-Box网络根据搜索区域点云和目标模版点云训练得到跟踪器模型，通过所述跟踪器模型检测连续的RGB-D图像中的目标对象，实现对目标对象的跟踪。

所述步骤S2具体包括以下步骤：

S21.将所述图像点云分为正样本和负样本，提取所述正样本和负样本的方向梯度直方图特征；

S22.所述正样本和负样本的方向梯度直方图特征输入SVM分类器，得到目标对象的检测模型；

S23.根据所述目标对象的检测模型生成检测子；

S24.根据所述检测子检测负样本，得到标对象的困难样本；

S25.提取困难样本的方向梯度直方图特征，与正样本和负样本的方向梯度直方图特征输入SVM分类器进行训练，得到最终检测子，根据所述最终检测子对图像点云进行检测，提取出目标对象的点云作为目标点云。