[发明专利]一种结合自编码器与视角变换模型的跨视角步态识别方法

权利要求书

1.一种结合自编码器与视角变换模型的跨视角步态识别方法，其特征在于，包括以下步骤：

S1、采集多视角多携带物状态的步态数据集，获取不同视角和不同携带物状态的步态能量图；

S2、将有携带物的步态能量图输入基于卷积神经网络的编码器，以同视角下无携带物的步态能量图为监督样本训练得到去携带物编码器，将标记有观测视角信息的步态能量图输入基于卷积神经网络的视角判别器进行判别训练，得到视角判别器；

S3、将待测目标在多个观测视角下的步态能量图输入步骤S2中训练得到的编码器得到纯步态特征，将步态特征拼接为步态特征矩阵，通过奇异值分解以得到角度变换向量与身份信息向量；

S4、引入Siamese结构的卷积神经网络，将带有身份标签的步态组输入卷积神经网络中进行识别训练，得到识别模型；

S5、将待识别目标的步态能量图输入自编码器与观测视角判别器，得到无携带物步态能量图与观测视角信息，将二者一同输入视角投影模型并转换至对比视角下，与在对比视角下来自不同目标的步态能量图依次组合成步态能量图组，输入步骤S4中的识别模型，取得分最高的组合为识别结果，完成跨视角步态识别。

2.如权利要求1所述的一种结合自编码器与视角变换模型的跨视角步态识别方法，其特征在于，步骤S1具体包括：

对多视角步态视频数据进行帧级分解，并对各帧使用分割算法，将行人轮廓与背景环境分解得到黑白二值图；然后识别人体轮廓进行裁剪，并将一个步态周期的人体轮廓图进行空间与时间归一化，以得到步态能量图GEI：

其中，N为一个步态周期的轮廓图样本数量，X_t为t时刻的步态轮廓图像；并对每一个步态能量图设置相应的样本标签、携带物标签和观测视角标签。

3.如权利要求2所述的一种结合自编码器与视角变换模型的跨视角步态识别方法，其特征在于，步骤S2具体包括：

对于观测视角判别器的训练过程：将带有观测视角标签的步态数据集输入基于11个视角区域进行划分的视角判别器，判别器输出判别视角编号；

对于具有移除携带物影响能力的自编码器的训练过程，包括以下步骤：

(1)首先假设训练集中每一个存在携带物的样本X都同时存在一个无携带物的模板样本X₀；给定基于卷积神经网络的编码器E与解码器D，其中，编码器E可将输入样本的特征划分为一维的步态特征g_p与携带物特征g_c，解码器可将两部分特征结合重构为输入样本X′：

(g_p,g_c)＝E(X)

X′＝D(g_p,g_c)

(2)创造一个与经过编码器E划分的携带物特征等大小的零填充特征g₀，将零填充特征g₀与步态特征g_p同时输入解码器D以生成无携带物步态样本，与无携带物模板样本一起制作无携带物重构损失X′₀：

X′₀＝D(g_p,g₀)

(3)有携带物重构损失与无携带物重构损失由计算两个步态能量图的欧式距离得到，将两个重构损失结合起来组成联合损失方程：

通过最小化L_reconst，确保解开的g_p和g_c分别仅包括输入样本的步态特征和携带物特征。