[发明专利]一种基于Faster rcnn的多模态行人检测模型及方法

说明书

一种基于Faster rcnn的多模态行人检测模型及方法，包括输入数据对齐处理和并行特征提取网络，将并行特征提取网络得到的结果通过后续的RPN网络和分类网络进行处理，从而进行类别分类和位置回归。本发明有效判别行人在视频或者图片中的位置，同时避免人与人遮挡时出现的虚检问题和物体遮挡人体时漏检的问题。

技术领域

本发明涉及行人检测模型技术领域，特别涉及一种基于Fasterrcnn的多模态行人检测模型及方法。

背景技术

人体检测是计算机视觉领域最具有应用价值的研究方向之一，也是其中的一个重点和难点问题。人体检测问题是指在视频或者图片中判断是否存在人体，如果判断有人体则还需要输出人体所在的位置。人体检测在无人驾驶、智能安防、以及家庭服务机器人领域具有重要的实际应用价值，同时是人体行为步态分析，人体身份识别和行人跟踪等众多应用的前提和基础。早期的人体检测任务通常都是基于彩色图进行的，而随着深度学习方法的不断发展，彩色图所包含的信息利用率已经接近饱和。由于彩色图易受光照变化等先天缺陷，单纯使用彩色图进行人体检测已经没有多少潜力。

深度图蕴含着外界环境的深度信息，进而表征着物体的几何形状信息，同时深度图还具有良好的光照不变性，这些性质均是彩色图所不具备的。正是由于这些原因，基于RGB-D多模态数据进行人体检测的研究在计算机视觉和机器人等学科中越来越活跃。

现有的行人检测算法大多数为仅以RGB图像作为输入的单输入网络，容易受RGB图像亮度，对比度和图像模糊的影响；同时模型对遮挡的行人所能提取的整体特征判别度不高。

发明内容

为了克服上述现有技术的不足，本发明的目的在于提供一种基于Faster rcnn的多模态行人检测模型及方法，有效判别行人在视频或者图片中的位置，同时避免人与人遮挡时出现的虚检问题和物体遮挡人体时漏检的问题。

为了实现上述目的，本发明采用的技术方案是：

一种基于Faster rcnn的多模态行人检测模型，包括输入数据对齐处理和并行特征提取网络，将并行特征提取网络得到的结果通过后续的RPN网络和分类网络进行处理，从而进行类别分类和位置回归；其中输入数据对齐处理采用张正友摄像机标定的方法，对深度相机进行标定，将深度图转化到彩色图图像坐标系中，然后截取彩色图和深度图中重叠的部分，分别进行保存，得到了一组对齐的彩色图和深度图，在进行不同模态的特征图合并的时候，同一位置的彩色图特征和深度图特征才能合并在一起，共同发挥作用，并行特征提取网络是用两个独立的卷积神经网络分别提取彩色图数据和深度图数据的特征，作为后续两种模态特征融合的基础。

一种基于Faster rcnn的多模态行人检测方法，包括以下步骤；

一、输入数据对齐处理：

二、并行特征提取网络：

三：将并行特征提取网络得到的结果通过后续的RPN网络和分类网络进行处理，从而进行类别分类和位置回归。

所述的输入数据对齐处理具体为：

步骤一：采用利用微软2代Kinect深度传感器采集，共包含现实生活中的5个场景，包含了多种人体姿态；

步骤二：采用张正友摄像机标定的方法，对深度相机进行标定，将深度图转化到彩色图图像坐标系中，然后截取彩色图和深度图中重叠的部分，分别进行保存，得到了一组对齐的彩色图和深度图；

步骤三：将深度图采用Jet色图编码后得到深度图和彩色图图像坐标系中的截取的彩色图送入行人检测模型中。

所述的并行特征提取网络具体为：

步骤一：对输入的彩色图和深度图用不同的特征提取网络提取深层特征信息得到特征图；

步骤二：对上一步得到的特征图进行L2归一化处理；