[发明专利]一种基于双流卷积神经网络和SVM的抽烟动作识别方法

权利要求书

1.一种基于双流卷积神经网络和SVM的抽烟动作识别方法，其特征在于，包括以下步骤：

Step1原始数据准备

针对常见场景下的人物抽烟行为，通过收集来自吸烟室监控摄像头及网络的视频数据，共收集抽烟视频数据1108条；

Step2数据预处理

(1)将大小、帧率各不相同的视频数据统一到相同大小和25帧率；

(2)截取视频数据中关键的抽烟动作部分，将视频的时长控制在10s左右；

(3)将每一个视频拆成视频帧，每一个视频随机抽取10张图片，组成图片数据集；

Step3数据集制作

针对Step2预处理后的数据进行人工分类，将人工分类信息作为网络训练的类别监督信息；随机选取增强后视频数据的60％作为训练数据，剩余的作为测试数据；随机选取图片数据集中的60％作为训练数据，其余的作为测试数据；

Step4空域卷积网络的构建与训练

Step4-1空域卷积网络的构建

空间流卷积神经网络的输入是单个视频帧，它是一种通过提取静态图片信息来完成视频人物动作识别的深度学习模型；此处空间特征提取网络基于ZF网络构建，ZF是卷积神经网络“Convolutional Neural Networks,CNN”的一种代表性网络，包括有卷积层、池化层、连接层和输出层，每层包含多个相互独立的神经单元；

ZF网络由5层深度的卷积层构成；前两层卷积核的大小分别为7*7和5*5，滑动步长“stride”均为2个像素，通过边界扩充“pad＝2”保持输入输出维度不变，每层卷积后均进行窗口为3*3的最大池化“max pooling”；后三层卷积的卷积核大小均为3*3，滑动步长均为1个像素，边界扩充1个像素；FC层表示一个全连接层，通过卷积核大小为1*1的卷积层实现，最后使用一个Softmax分类器来实现分类；

Step4-2空域卷积网络的训练

空域卷积网络的训练分为前向传播和后向传播两个部分；前向阶段：将抽烟图片数据集中选择批量数据输入网络，然后根据网络的数据流传播计算对应所属的实际动作种类；后向阶段：网络的实际输出与理想输出存在误差，对误差函数求各个偏置和权值的偏导数，从而使误差沿着降速最快的方向调整各个权值和偏置；

(1)前向训练

网络输出层的每一个神经元的输出值对应于输入视频属于各类危险动作的概率大小，表达式为如公式(4)所示：

其中，表示前一层的输出特征向量；W_ij表示输入i到输出j的连接权值；b_k表示输出层第k个输出的偏置；Y_k表示输出层中第k个输出；f()表示非线性激励函数；

(2)反向训练

反向传播的目的是使误差达到最小，根据误差函数E来对权值参数w、偏置参数b的梯度进行调整；对于有M个输出类别和N个训练样本的多分类问题，使用的误差函数计算方法如公式(2)所示；

其中，表示第n个样本中第k类对应的分类标签；为网络输出层实际输出向量；

Step5时域卷积网络的构建与训练

Step5-1时域卷积网络的构建

此处时域卷积网络采用与空域卷积网络相同的ZF网络；

时域卷积网络的输入是基于视频数据计算和转换而来的灰度的光流图；光流信息是连续视频帧之间的像素点位移场，描述的是视频的运动信息；

对于视频中第i帧的像素点p(x_p，y_p)，在第k帧上记该像素点为q(x_q，y_q)，使用FlowNet(FlowNet：Learning Optical Flow with Convolutional Network)计算光流，则该像素点从i帧到k帧的光流描述为变化δp，δp的计算方法如公式(3)所示：

M_i→k＝F(I_k，I_i)，δp＝M_i→k(p) (3)

其中，I_k，I_i分别表示视频中第i帧和第k帧；对于第i帧上所有的像素点逐像素的计算其在第k帧上对应的光流，最终获得第i帧到第j帧的光流图；

Step5-2空域卷积网络的训练

时域卷积网络的训练分为前向传播和后向传播两个部分，训练方法与空域卷积网络的训练过程相同；

Step6基于SVM的抽烟动作识别模型

Step6-1 SVM分类器构建

支持向量机“support vector machine，SVM”是一种常见的二分类模型，其基本思想是针对待分类的数据，找到具有最小间隔的样本点然后拟合出一个到这些样本点距离和最大的线段或平面，超平面的方程的定义如公式(4)所示；

w^Tx+b＝0 (4)

其中x表示空间中坐落在超平面上的样本点，该点可以被描述为X(x₁，x₂，...x_n)，其中x_i表示点X的第i个特征变量；w^T表示空间中超平面的参数，对应的w^T为一个n维度的矩阵，可以被描述为w^T(W₁，W₂，...，W_n)；b表示样本点X在超平面上的截距；由公式(4)定义的超平面可知，样本空间中任意的点p(x₁，x₂，...x_n)到超平面的距离可以通过公式(5)计算得到；

其中，d表示点到超平面的距离，W_i∈w^T表示超平面方程中的系数；

在计算某个数据点到超平面的距离的基础上，若超平面已经确定，则我们的目标就是找出所有间隔中最大的那个值对应的超平面；

因此用数学语言描述就是确定超平面系数矩阵w^T(W₁，W₂，...，W_n)、截距b使得间隔最大；该优化问题的目标函数如公式(6)所示；

其中，y表示数据点的标签，值为-1或1；y(w^Tx+b)表示点X到超平面距离；

通过引入拉格朗日中值展开式，SVM的目标函数如公式(7)所示；

其中x_i和x_j分别表示i和j个数据点，y_i和y_j表示x_i和x_j对应的标签值，α_i和α_j为我们待求解的参数值；

基于上述的公式构建抽烟动作识别的SVM分类模型，SVM分类模型的输入是Step 4与Step 5训练的卷积神经网络的Softmax分类值，SVM分类模型的输出是最终的抽烟动作的分类情况；

Step6-2 SVM分类器训练

SVM分类模型的训练分为前向传播和后向传播两个部分，训练方法与空域卷积网络的训练过程相同。