[发明专利]基于时间域-空间域特征联合增强的步态识别方法与系统

权利要求书

1.一种基于时间域-空间域特征联合增强的步态识别方法，其特征在于，所述方法包括下述步骤：

(1)特征提取：

(1.1)对每个输入步态序列，首先截取一段长度为40帧的序列片段，然后对该片段随机不重复地采样30帧；

(1.2)对每个采样位置，进行高维特征的提取，首先选取采样位置的1帧图片作为原始数据，然后将原始数据送到特征提取网络中进行特征提取，得到深度特征表达；

(2)训练显著性特征生成器：

(2.1)采用三组卷积核处理来自步骤(1.2)的深度特征表达，得到三组输出特征；

(2.2)接收步骤(2.1)的三组输出特征，监督不同组特征关注不同的空域显著性区域，并输出空域重叠惩罚损失函数值L_oap；具体为：监督三组输出特征关注不同的空域区域，首先应用均值池化与最大值池化进行通道压缩，对每个已压缩的特征图取第K大的值作为Sigmoid函数的阈值进行激活，Sigmoid函数定义式为将这三组被激活的特征按元素相乘、累加，得到空域重叠惩罚损失函数值L_oap；

(2.3)接收步骤(2.1)的三组输出特征，将该特征在纵向尺度进行划分，提取块级局部特征，再联合应用空域均值池化与最大值池化得到向量特征输出；

(3)“内部关系”与“外部关系”建模：

(3.1)接收步骤(2.3)的向量特征输出，对同一帧的三组特征进行建模，得到“内部关系”建模的输出；具体为：进行“内部关系”的帧内建模，首先将同一帧图像的三组特征连接到一起，输入到一个多层感知机中，输出一个帧内跨组交互的特征向量，该特征向量的维度为128维，接着将该特征向量分别与三组特征相乘并采用Sigmoid函数激活，最后将激活后的三组特征向量与原特征向量相乘，作为“内部关系”建模模块的输出；

(3.2)接收步骤(2.3)的向量特征输出，对相邻帧的三组特征进行建模，得到“外部关系”建模的输出；具体为：进行“外部关系”的帧间建模，首先将相邻三帧/五帧图像的特征连接到一起，输入到一个多层感知机中，输出一个帧间跨组交互的特征向量，该特征向量的维度为384维，接着将该特征向量分别与三帧/五帧图像的特征相乘并采用Sigmoid函数激活，最后将激活后的三帧/五帧特征向量与原特征向量相乘，通过时域池化并把三帧/五帧建模的结果相加，作为“外部关系”建模模块的输出；

(3.3)接收步骤(3.1)与(3.2)的“内部关系”与“外部关系”建模的输出，将它们相加作为加和特征输出；

(4)模型的输出与训练：

(4.1)接收步骤(3.3)的加和特征输出，利用时域全局最大池化进行处理，获取网络最终输出；

(4.2)接收步骤(4.1)的网络最终输出，采用三元组损失函数对模型进行训练，获得损失函数值L_tri；

(5)利用上述训练好的模型对待检测测试步态序列进行行人身份预测，包括如下子步骤：

(5.1)利用步骤(1.2)(2)(3)(4.1)处理待测试步态序列的所有帧图像，获取待测试输出特征；

(5.2)将步骤(5.1)的测试输出特征与数据库存储的特征进行比对，选取最接近的一组特征作为匹配特征，并将匹配者的身份作为测试序列行人的身份。

2.根据权利要求1所述的基于时间域-空间域特征联合增强的步态识别方法，其特征在于，所述步骤(1.2)具体为：对于输入的步态序列图像，采用六层的卷积神经网络作为特征提取网络，其中前两层卷积网络的输出通道均为32，第三层是步长为2的最大池化层，第四、五、六卷积层的输出特征通道数分别为：64、64、128。

3.根据权利要求1所述的基于时间域-空间域特征联合增强的步态识别方法，其特征在于，所述K＝15。

4.根据权利要求1或2所述的基于时间域-空间域特征联合增强的步态识别方法，其特征在于，所述步骤(4.2)具体为：采用三元组损失函数对模型进行训练，其函数表达式为：其中N表示训练样本的数量，i为单个训练样本对应的序号索引，与分别表示第i个样本的正样本对特征距离与负样本对特征距离，α为提升优化性能所需的margin。