[发明专利]一种基于深度学习的步态分割与步态识别一体化方法

说明书

技术领域

本发明涉及计算机视觉、模式识别及步态识别技术领域，特别是涉及一种基于深度学习的步态分割与步态识别一体化方法。

背景技术

在步态识别方法中，绝大部分方法都需要分为步态图像分割、特征提取和步态识别三个步骤，其中特征提取主要是基于步态能量图(Gait Energy Image,GEI)再进行特征变化，计算复杂度较高，速度相对较慢，且依赖于精确的分割结果。如果步态图像分割结果较差，则无法实现后续的识别。因此，大多数传统算法要求背景静止或者背景简单，在真实监控环境中的复杂的动态的背景条件下无法得到理想的人形分割结果。深度卷积神经网络具有极强的自主学习能力和高度的非线性映射，这为设计复杂的高精度高速度人形分割模型和步态识别模型提供了可能性。

发明内容

本发明的目的是针对现有技术在真实场景下步态识别遇到的问题，提出一种能够适应复杂背景和多种着装条件，且能够直接识别步态身份的步态分割与步态识别一体化方法。

本发明是这样实现的，一种基于深度学习的步态分割与步态识别一体化方法，所述方法包括：

将人形分割数据库中用于人形分割训练的图像以及对应的人形分割标注图像归一化到相同像素大小，得到用于分割训练的图像与人形分割标注图像的成对样本；

每次将N对所述图像及对应的人形分割标注图像送入一个N通道全卷积神经网络，得到与人形分割标注尺寸相同的N个表示人形轮廓分割预测结果的图像表达一；采用反向传播算法和随机梯度下降法减小该图像表达一与对应的人形分割标注图像比较得到的预测误差以训练该N通道全卷积神经网络，经过多次迭代训练得到用于步态分割的N通道分割卷积神经网络模型，并将该N通道分割卷积神经网络模型复制保存，作为一个固定的分割标注生成器；

每次从选定的每段步态视频中随机选取N张步态图像，送入所述N通道分割卷积神经网络模型得到N张表示人形轮廓预测分割结果的图像表达二，每段步态视频对应一个身份序号用于识别；

将得到的所述N张图像表达二作为输入，并以所述选定每段步态视频的身份序号作为输出，采用反向传播算法和随机梯度下降法减小预测步态身份与实际步态身份间的误差来迭代训练用于步态识别的分类卷积神经网络模型直到模型停止收敛；

将训练好的所述N通道分割卷积神经网络模型的输出端和分类卷积神经网络模型的输入端连接，组成一个输出为步态身份预测结果的步态分割与步态识别的一体化模型；

每次从选定的每段步态视频中随机选取N张步态图像送入所述N通道分割卷积神经网络模型得到对应人形轮廓预测分割图像的生成标注信息；同时利用该N张步态图像为输入，对应的人形轮廓预测分割图像和身份序号为监督信息，采用反向传播算法和随机梯度下降法联合训练所述步态分割与步态识别的一体化模型直到该一体化模型收敛停止；

测试时，随机选取一段步态视频中N张图像送入训练好的所述步态分割与步态识别的一体化模型，在所述步态分割与步态识别的一体化模型的soft-max分类器得到最大响应所在的节点序号，作为身份序号的预测结果。

其中，所述N通道全卷积神经网络模型的每一通道均包括有配置相同的多层卷积层与连接所述多层卷积层的最后一层的一层反卷积层。

其中，所述分类卷积神经网络模型包括多层卷积层以及连接最后一层卷积层的至少一层全连接层，所述全连接层的最后一层连接输出层----soft-max分类器。

本发明首先利用带有人形分割标记图像的人形图像训练基于多层卷积神经网络的N通道分割卷积神经网络模型；然后利用该N通道分割卷积神经网络模型将一段步态视频随机取多帧图像进行步态分割，并利用得到的人形轮廓分割结果训练一个分类卷积神经网络模型进行身份识别；最后将N通道分割卷积神经网络模型与分类卷积神经网络模型联合学习，得到更精确的步态分割与步态识别的一体化模型，从而实现了利用该一体化模型直接进行从步态到身份的识别。

本发明所提出的步态分割与步态识别一体化模型能够联合学习可以实现同时更新N通道分割卷积神经网络模型和分类卷积神经网络模型，获得更准确的步态识别结果。

本发明基于卷积神经网络的N通道分割卷积神经网络模型通过大量复杂背景下的人形分割标注图像样本训练，可以实现在各种不同背景下的精确的人形轮廓分割，解决了实际环境中复杂动态背景下的步态分割问题，而这些精确的分割结果又可进一步通过分类卷积神经网络模型构成的分类器直接识别步态身份，分割与识别一体化学习将极大地加速步态识别的速度。

附图说明