[发明专利]一种基于多尺度的行人检测方法和装置

权利要求书

1.一种基于多尺度的行人检测方法，其特征在于，包括：

将待检测图像输入至特征提取模型，输出图像特征集合；所述特征提取模型为基于Resnet网络建立的包括多层串联的卷积单元的神经网络，对应地，所述图像特征集合由所述多层串联的卷积单元中每一所述卷积单元输出的图像特征构成；

将所述图像特征集合输入至特征融合模型，输出融合特征；

将所述融合特征输入至特征回归分类模型，输出所述融合特征的回归结果和分类结果，基于所述融合特征的回归结果和分类结果得到所述待检测图像的行人检测结果；

其中，所述特征提取模型、所述特征融合模型和所述特征回归分类模型是基于样本图像和所述样本图像对应的样本行人检测结果进行训练后得到的；

所述将所述图像特征集合输入至特征融合模型，输出融合特征，具体包括：

将所述图像特征集合中任一卷积单元输出的图像特征进行归一化计算，得到所述任一卷积单元的归一化特征；

针对任一所述卷积单元，将所述任一卷积单元的下层卷积单元对应的通道拼接特征进行反卷积后与所述任一卷积单元的归一化特征进行通道拼接，得到所述任一卷积单元对应的通道拼接特征；

将顶层卷积单元对应的通道拼接特征卷积后进行池化，得到所述融合特征；

所述特征提取模型为基于Resnet网络建立的包括四层串联的卷积单元的卷积神经网络；

所述将顶层卷积单元对应的通道拼接特征卷积后进行池化，得到所述融合特征，具体包括：

针对所述顶层卷积单元对应的通道拼接特征中对应顶层卷积单元、第二层卷积单元和第三层卷积单元分别输出的图像特征的特征，分别通过两种尺度的卷积核进行卷积，得到6个候选区域；

针对所述顶层卷积单元对应的通道拼接特征中对应第四层卷积单元输出的图像特征的特征，通过单一尺度的卷积核进行卷积，得到1个候选区域；

将所述6个候选区域和所述1个候选区域反卷积后进行ROI pooling，得到所述融合特征。

2.根据权利要求1所述的方法，其特征在于，所述将待检测图像输入至特征提取模型，输出图像特征集合，具体包括：

针对任一所述卷积单元，对所述任一卷积单元的上层卷积单元输出的图像特征进行降采样和卷积，得到所述任一卷积单元的卷积特征；

将所述任一卷积单元的卷积特征与所述上层卷积单元输出的图像特征相加，作为所述任一卷积单元输出的图像特征。

3.根据权利要求1所述的方法，其特征在于，所述特征回归分类模型包括卷积层、回归全连接层和分类全连接层；

对应地，所述将所述融合特征输入至所述特征回归分类模型，输出所述融合特征的回归结果和分类结果，基于所述融合特征的回归结果和分类结果得到所述待检测图像的行人检测结果，具体包括：

将所述融合特征输入至所述特征回归分类模型的卷积层，输出卷积融合特征；

将所述卷积融合特征输入至所述特征回归分类模型的回归全连接层，输出所述回归结果，将所述卷积融合特征输入至所述特征回归分类模型的分类全连接层，输出所述分类结果，基于所述回归结果和所述分类结果得到所述待检测图像的行人检测结果。

4.根据权利要求1所述的方法，其特征在于，所述将待检测图像输入至特征提取模型，输出图像特征集合，之前还包括：

基于所述样本图像和所述样本图像对应的样本行人检测结果训练所述特征提取模型、所述特征融合模型和所述特征回归分类模型，直至损失函数满足预设条件；

其中，所述损失函数包括所述图像特征集合中每一图像特征的特征损失函数。