[发明专利]基于时空双流卷积神经网络的跨视角步态识别方法

权利要求书

1.一种基于时空双流卷积神经网络的跨视角步态识别方法，其特征在于，包括以下步骤：

步骤1、采用CASIA-B数据集和同组人员共同采集的DHU-GaitSet数据集作为实验数据集，将实验数据集基于高斯模型背景建模，完成高斯背景建模后，利用步态序列中的当前帧与背景帧作减运算，并取绝对值完成背景差分，将差分后的前景运动图像与背景图像进行二值化分割得到粗略的步态剪影图，对获得的粗略的步态剪影图进行形态学处理以得到更精确的步态剪影图，随后进行人影消除得到最终的步态剪影图，最后将处理好的步态剪影图进行标准化使运动目标中心对齐；

步骤2、将上一步获得的步态剪影图分别融合成为步态能量图GEI和保留了步态序列时间信息的彩色步态能量图CGI；

步骤3、构建基于时间和空间的双流卷积神经网络，该双流卷积神经网络的基网络为卷积神经网络，用于计算注册样本和验证样本之间的相似度，注册样本和验证样本为相对应的注册的步态能量图GEI和验证的步态能量图GEI以及相对应的注册的彩色步态能量图CGI和验证的彩色步态能量图CGI，由四层CNN组成并有两个入口，其中一个入口的输入为注册的步态能量图GEI和验证的步态能量图GEI，另一入口的输入为注册的彩色步态能量图CGI和验证的彩色步态能量图CGI，双流卷积神经网络的最顶层使用Softmax来判断验证样本和注册样本是否属于同一目标；

步骤4：运用二分类交叉熵损失作为模型的目标函数训练基于时间和空间的双流卷积神经网络，在双流卷积神经网络中，每对注册的步态能量图GEI和验证的步态能量图GEI和每对注册的彩色步态能量图CGI和验证的彩色步态能量图CGI分别在局部区域内相互比较，在分别计算步态能量图GEI和彩色步态能量图CGI的图像对之间的差值之前，只使用线性投影，由16对卷积核在最底卷积阶段实现，一对卷积核接受两个输入，看作权重比较器，在每个空间位置，首先分别对其两个输入的局部区域重新加权，然后将这些加权后的项相加来模拟减法。

2.如权利要求1所述的一种基于时空双流卷积神经网络的跨视角步态识别方法，其特征在于，步骤2中，在得到步态剪影图后，对于每一帧步态图，定位图像中目标的最高和最低白色像素点，并记录这两点间的距离，其次计算每张步态剪影图中目标的重心位置，在此基础上形成一个长宽比为1:1的矩形框将步态信息框出并按此比例裁剪和融合，通过对标准化步态剪影图轮廓的色彩映射，再叠加融合成为所述彩色步态能量图CGI。

3.如权利要求1所述的一种基于时空双流卷积神经网络的跨视角步态识别方法，其特征在于，所述双流卷积神经网络通过一个函数将输入映射到目标空间，在目标空间使用简单的距离对比注册样本和验证样本相似度，在训练阶段去最小化来自相同类别的一对样本的损失函数值，最大化来自不同类别的一堆样本的损失函数值。