[发明专利]一种基于深度相机和3D卷积神经网络的步态识别方法

权利要求书

1.一种基于深度相机和3D卷积神经网络的步态识别方法，其特征在于，包括步骤：

a)利用深度相机采集行人步态的RGB-D图像序列；

b)获取每帧图像的步态剪影以及剪影对应的深度图像剪影；

c)将每帧图像的步态剪影和深度图像剪影组成双通道的步态图像；

d)归一化步态图像序列，根据时间顺序将步态图像重组成步态序列I₁,其维度为w₁×h₁×c₁×m₁，w₁、h₁、c₁、m₁分别为I₁的宽度，高度，通道数和序列帧数；

e)将步态图像序列输入3D卷积神经网络，前向传播并输出识别结果，其中，

3D卷积神经网络前向传播的步骤为：

e1)第一组3D卷积层，对步骤d)所得的图像序列进行3D卷积操作，卷积核大小为kw₁×kh₁×km₁，步长为ks₁，卷积核个数为kn₁，其卷积输出为

其中，v_1j(x,y,s)表示在第一组3D卷积层中第j个卷积核的第s个特征图在位置(x,y)处的值，b_1j为在第一组3D卷积层中第j个卷积偏移量，ω_1j为在第一组3D卷积层中第j个卷积权重，

ω_1j(α,β,γ)和I₁(x+α,y+β,s+γ)均为在第一组3D卷积层中c₁维向量；

将每个卷积核对应的特征图归为一组，则该层共有kn₁组特征图，每组(m₁-km₁)/ks₁+1个特征图，每个特征图的尺寸为：

((w₁-kw₁)/ks₁+1)×((h₁-kh₁)/ks₁+1)；

其输出维度为：

((w₁-kw₁)/ks₁+1)×((h₁-kh₁)/ks₁+1)×((m₁-km₁)/ks₁+1)×kn₁；

e2)第一组ReLU激活函数层，对步骤e1)的输出使用ReLU激活函数，其输出为：

e3)第一组3D池化层，对步骤e2)的输出进行最大值池化，核大小为2×2×2，步长为2，按照步骤e1)中的分组规则，池化层对每组特征图分别进行池化操作，其输出为：

p_1j(x,y,s)＝max{y_1j(x+α,y+β,s+γ)|α,β,γ＝0,1}

池化层的输出维度为：

((w₁-kw₁)/ks₁+1)/2×((h₁-kh₁)/ks₁+1)/2×((m₁-km₁)/ks₁+1)/2×kn₁

e4)第一组时序重构层，对步骤e3)的输出进行时序重构；按照步骤e1)所述，3D卷积层输入的图像序列是按照时序排列的，输出的特征图序列在每个分组内的特征图仍然是按照时序排列，不同分组之间的特征图不满足时序关系，而不同分组中相同位置的特征图处于同一时间节点；按照e3)所述，3D池化层的输出同样满足上述时序规则；为了使后续数据依然满足时序要求，将不同分组中同一位置的特征图组合在一起看作一幅多通道图像，并将这些图像按照时序排列；令该时序重构层的输出为I₂,其维度为w₂×h₂×c₂×m₂，则：

I₂(x,y,s,j)表示I₂第s组第j个特征图在位置(x,y)处的值；

e5)第二组3D卷积层，对步骤e4)的输出进行3D卷积操作，卷积核大小为kw₂×kh₂×km₂，步长为ks₂，卷积核个数为kn₂，其卷积输出为

其中，v_2j(x,y,s)表示表示在第二组3D卷积层中第j个卷积核的第s个特征图在位置(x,y)处的值，b_2j为在第二组3D卷积层中第j个卷积偏移量，ω_2j为在第二组3D卷积层中第j个卷积权重，

ω_2j(α,β,γ)和I₂(x+α,y+β,s+γ)均为在第二组3D卷积层中c₂维向量；

其输出维度为

((w₂-kw₂)/ks₂+1)×((h₂-kh₂)/ks₂+1)×((m₂-km₂)/ks₂+1)×kn₂；

e6)第二组ReLU激活函数层，对步骤e5)的输出使用ReLU激活函数，其输出为：

e7)第二组3D池化层，对步骤e6)的输出进行最大值池化，核大小为2×2×2，步长为2，其输出为：

p_2j(x,y,s)＝max{y_2j(x+α,y+β,s+γ)|α,β,γ＝0,1}

输出维度

((w₂-kw₂)/ks₂+1)/2×((h₂-kh₂)/ks₂+1)/2×((m₂-km₂)/ks₂+1)/2×kn₂；

e8)第二组时序重构层，对步骤e7)的输出进行时序重构；令该时序重构层的输出为I₃,其维度为w₃×h₃×c₃×m₃，则：

I₃(x,y,s,j)表示I₃第s组第j个特征图在位置(x,y)处的值；

e9)2D卷积网络，对步骤e8)的输出进行2D卷积和分类识别，采用裁剪的VGG16网络。

2.根据权利要求1所述的方法，其特征在于：步骤d)的具体步骤为：

d1)定位步态剪影的最上和最下像素点，计算步态剪影的高度h₀；

d2)定位步态剪影的最左和最右像素点，计算步态剪影的宽度w₀；

d3)根据步态剪影的高度和宽度，计算剪影的质心位置；

d4)给定一个纵横比r，以质心为中心，用w₀×h₀的矩形裁剪步态图像，其中w₀＝h₀*r；

d5)将已裁剪的步态图像等比例缩放到3D卷积神经网络的输入尺寸；

d6)根据时间顺序将步态图像重组成步态序列I₁,

其维度为w₁×h₁×c₁×m₁，w₁，h₁，c₁，m₁分别为I₁的宽度，高度，通道数和序列帧数。