[发明专利]基于四元数时空卷积神经网络的人体行为识别方法

权利要求书

1.一种基于四元数时空卷积神经网络的人体行为识别方法，其特征在于，所述方法具体为：

(1)构建四元数时空卷积神经网络；

(2)将包含多种人体动作的F组彩色图像表示为四元数的形式，将其中f组彩色图像作为训练集，将训练集作为训练样本输入所述四元数时空卷积神经网络，并利用BP算法训练训练集样本，得到训练好的四元数时空卷积神经网络；

(3)将其他F-f组彩色图像作为样本输入训练好的四元数时空卷积神经网络，利用训练好的四元数时空卷积神经网络将彩色图像分类，实现人体行为识别；

所述四元数时空卷积神经网络包括空间卷积层、时间卷积层、下采样层、全连接层、长短时记忆单元和分类器；样本经空间卷积层、时间卷积层、下采样层循环P次得到样本的特征图序列，全连接层将序列中每一个特征图都拉伸成一个特征向量，长短时记忆单元将特征向量输送至分类器，分类器依据特征向量将样本分类；

所述四元数时空卷积神经网络包括3P+1层结构；

F、f、P均为自然数。

2.根据权利要求1所述基于四元数时空卷积神经网络的人体行为识别方法，其特征在于，所述包含多种人体动作的F组彩色图像表示为四元数的形式为：

彩色图像Q中(x,y)位置的像素用一个纯四元数表示，公式如下：

Q(x,y)＝Q_r(x,y)i+Q_g(x,y)j+Q_b(x,y)k

或表示为向量的形式：

Q(x,y)＝(Q_r(x,y),Q_g(x,y),Q_b(x,y))

其中，Q_r(x,y)，Q_g(x,y)和Q_b(x,y)分别为像素的R,G和B通道的值；一张彩色图像可以表示为：

Q＝(Q_r,Q_g,Q_b)；

所述四元数时空卷积神经网络的卷积核以四元数形式。

3.根据权利要求1所述基于四元数时空卷积神经网络的人体行为识别方法，其特征在于，在步骤(2)和步骤(3)中所述彩色图像经过预处理后作为样本输入，所述预处理方法为采用码本模型，以a×d的检测窗口提取图像中人体运动的关键区域，并保存区域图像；

检测窗口的大小根据所述彩色图像中人体的大小进行选择，以在包括人体的条件下尽可能小的尺寸；

a、d为常数。

4.根据权利要求2所述的基于四元数时空卷积神经网络的人体行为识别方法，其特征在于，所述空间卷积层的具体操作为：在四元数时空卷积层，卷积核被扩展成纯四元数的表示形式W＝(W_r,W_g,W_b)，按照下式的卷积操作，输入一张彩色图像Q＝(Q_r,Q_g,Q_b)，第i层第j个特征图中(x,y)位置的卷积结果为：

W×Q＝(W_gQ_b-W_bQ_g,W_bQ_r-W_rQ_b,W_rQ_g-W_gQ_r)

其中，f是sigmoid函数，b^i,j是第i层第j个特征图的偏置，是第i层第j个特征图和第i-1层第p个特征图之间的卷积核的(n,m)位置的权值向量，N和M是卷积核的长和宽；Q^(i-1),p(x+n,y+m)表示第i-1层第p个特征图Q中的(x+n,y+m)位置的像素；Z^i,i(x,y)表示第i层第j个特征图中(x,y)位置的卷积结果；

操作是两个纯四元数向量元素对应相乘，提取的是每个通道上的空间特征；×操作是叉积操作，提取的是不同颜色通道的空间关系。