[发明专利]一种基于多特征聚合的跨视角步态识别方法、系统及设备

权利要求书

1.一种基于多特征聚合的跨视角步态识别方法，其特征在于，包括以下步骤：

步骤1：对输入视频进行预处理操作，获得相应类别的步态序列，包括正常行走步态序列，背包行走步态序列，穿外套行走步态序列；

步骤2：将处理后的步态序列输入基于多特征聚合的跨视角步态识别网络中，得到识别结果；

所述基于多特征聚合的跨视角步态识别网络，包括基准网络、多尺度特征提取器、空间特征评估模块、整体和部分时间聚合模块、视角投影预测学习模块、多特征聚合模块和分类器；

所述基准网络，用于提取步态序列对应的内部特征，具体网络结构由顺序连接的5层组成，其中第3层为池化层，其余为3×3卷积层；

所述多尺度特征提取器，用于提取态序列对应内部特征的多尺度特征，多尺度特征包括帧级特征F_fl、短程特征F_sr和长程特征F_lr；其中，帧级特征F_fl用来保存外观轮廓信息，短程特征F_sr用来学习微运动表示，长程特征F_lr用于保存身体部位的周期性变化；所述多尺度特征提取器，由并行设置的帧级特征提取层、短程特征提取层和长程特征提取层组成；所述帧级特征提取层为3×3卷积层；所述短程特征提取层由顺序连接的2个3×1卷积层组合而成，其中第一个卷积层的输出与第二个卷层的输出融合后输出短程特征；所述长程特征提取层由MLP层和Sigmoid函数层组成，其中输入与Sigmoid函数层输出经过两次融合后输出长程特征；

所述空间特征评估模块，用于根据输入的多尺度特征，提取身体各部位最显著特征，实现重组高质量的外观特征；其具体结构包括三部分，第一部分由池化层、卷积操作层和Sigmoid函数层组成，其中输入与Sigmoid函数层输出经过两次融合后输出将多尺度特征转换为空间评估特征；第二部分由顺序设置的通过MLP层和Sigmoid层，及并行设置1×1卷积层组成，通过MLP层和Sigmoid层计算每帧中各部分的分值，然后与1×1卷积层得到的结果进行乘积运算得到局部权值矢量；第三部分包括最大值Max操作层、显著特征查找层和外观特征重组层，通过最大值Max操作层挑选分值最高的区域索引，然后通过该索引从局部权值矢量中选取显著部分特征，沿高度维度对这些部分特征进行重组；

所述整体和部分时间聚合模块，用于根据输入的多尺度特征，从全局和局部两方面提取身体运动描述符，学习人体的独特运动模式；所述整体和部分时间聚合模块包括整体自适应时序建模层和水平金字塔时序建模层；整体自适应时序建模层由两个包含LeakReLU的1×1卷积模块及Sigmoid操作构成；水平金字塔时序建模层先通过HPM层对特征进行水平划分，然后使用Maxpool层和Avgpool层组合对条带特征进行映射，最后使用MCM层提取特征中潜在的微运动表示；其中，时序输入中的短程特征由原始帧级特征与原始短程特征相加得到；长程特征由新的短程特征与原始长程特征相加得到；最后，通过对帧级特征、新的短程和长程特征沿通道维度进行融合得到两个时序建模层的输入特征；

所述视角投影预测学习模块，用于根据输入的多尺度特征，提取最佳视图特征作为特征识别过程中的补充信息；所述视角投影预测学习模块包括第一最大值Max操作层、第二最大值Max操作层、Avgpool池化层、全连接操作层、第三最大值Max操作层和最佳视角查找层，首先对输入的融合后的多尺度特征通过第一最大值Max操作层进行最大值Max操作得到多视角特征；然后使用第二最大值Max操作层，Avgpool池化层及全连接操作层对输入的融合后的多尺度特征进行计算，得到视角矩阵，接着使用第三最大值Max操作层从视角矩阵中得到视角值最大的索引，最后最佳视角查找层通过索引从多视角特征中选取最佳视角特征；

所述多特征聚合模块通过Concat拼接操作沿通道维度执行，用于将所述空间特征评估模块、整体和部分时间聚合模块和视角投影预测学习模块输出进行聚合；

所述分类器通过全连接操作执行，用于将所述多特征聚合模块输出进行识别，得到识别结果。