[发明专利]一种基于Faster rcnn的多模态行人检测模型及方法

权利要求书

1.一种基于Faster rcnn的多模态行人检测模型，其特征在于，包括输入数据对齐处理和并行特征提取网络，将并行特征提取网络得到的结果通过后续的RPN网络和分类网络进行处理，从而进行类别分类和位置回归；其中输入数据对齐处理采用张正友摄像机标定的方法，对深度相机进行标定，将深度图转化到彩色图图像坐标系中，然后截取彩色图和深度图中重叠的部分，分别进行保存，得到了一组对齐的彩色图和深度图，在进行不同模态的特征图合并的时候，同一位置的彩色图特征和深度图特征才能合并在一起，共同发挥作用，并行特征提取网络是用两个独立的卷积神经网络分别提取彩色图数据和深度图数据的特征，作为后续两种模态特征融合的基础。

2.一种基于Faster rcnn的多模态行人检测方法，其特征在于，包括以下步骤；

一、输入数据对齐处理：

二、并行特征提取网络：

三：将并行特征提取网络得到的结果通过后续的RPN网络和分类网络进行处理，从而进行类别分类和位置回归。

3.根据权利要求2所述的一种基于Faster rcnn的多模态行人检测方法，其特征在于，所述的输入数据对齐处理具体为：

步骤一：采用利用微软2代Kinect深度传感器采集，共包含现实生活中的5个场景，包含了多种人体姿态；

步骤二：采用张正友摄像机标定的方法，对深度相机进行标定，将深度图转化到彩色图图像坐标系中，然后截取彩色图和深度图中重叠的部分，分别进行保存，得到了一组对齐的彩色图和深度图；

步骤三：将深度图采用Jet色图编码后得到深度图和彩色图图像坐标系中的截取的彩色图送入行人检测模型中。

4.根据权利要求2所述的一种基于Faster rcnn的多模态行人检测方法，其特征在于，所述的并行特征提取网络具体为：

步骤一：对输入的彩色图和深度图用不同的特征提取网络提取深层特征信息得到特征图；

步骤二：对上一步得到的特征图进行L2归一化处理；

假设并行输入的原始输入图片为(I_RGB I_Depth)，经过卷积神经网络进行特征提取之后，得到一组并行的特征图(f_RGB,f_Depth)，假设特征图(f_RGB,f_Depth)中某一通道特征图为f，且该特征图分辨率为r×c，则经过L2归一化后的特征图u_f为：

其中：

在对两组特征图分别进行L2归一化后，这两组特征图的数值大小将被缩放到同一尺度上，共同对最终的检测结果起到作用；

步骤三：针对归一化特征图中每一个通道的特征图设计一个尺度参数γ_i，对该通道特征图进行一定比例的放大，经过尺度参数放大后的特征图F_i为：

将并行特征提取网络得到的结果通过后续的RPN网络和分类网络进行处理，从而进行类别分类和位置回归。

5.根据权利要求4所述的一种基于Faster rcnn的多模态行人检测方法，其特征在于，所述的后续的RPN网络和分类网络与Faster Rcnn网络一致。