[发明专利]基于三维卷积神经网络的跌倒行为识别方法

权利要求书

1.基于三维卷积神经网络的跌倒行为识别方法，其特征在于，具体按照以下步骤实施：

步骤1、获得并预处理跌倒数据集视频，得到跌倒行为视频样本；

所述步骤1具体按照以下步骤实施：

步骤1.1、将每个行为视频统一压缩至分辨率为240×320，得到视频帧大小统一的跌倒行为视频；

步骤1.2、通过图像增强的方法处理步骤1.1的跌倒行为视频，得到增强后的视频；

步骤2、将步骤1得到的视频采用基于混合高斯与自适应阈值的三帧差法结合的目标检测方法进行背景去除，再用小面积去除及形态学方法得到完整人体目标区域；提取人体目标区域的光流运动历史图像特征，然后对特征图像用数据重叠扩增的方式增加样本集；

所述步骤2中采用基于混合高斯与自适应阈值的三帧差法结合的目标检测方法进行背景去除具体如下：

使用自适应阈值的三帧差法，将三帧连续图像相邻两帧差分得到两个差分图像，自适应阈值处理过后将两个图像进行“与”运算，得到相邻三帧间有相对运动发生的区域ψ_c，将区域ψ_c分为ψ_ub和ψ_m，若是无运动区域，则建立混合高斯模型实时更新，若有运动区域，将已被确定为运动目标区域的像素点与该像素点的前B个高斯分布互相匹配，高斯分布按ω_i,t,k/σ_i,t,k的值递减排列，其中ω_i,t,k、σ_i,t,k分别表示第i个高斯分布的权重和方差，匹配原则如公式(1)所示：

|X_t-μ_i,t-1|≤2.5σ_i,t-1 (1)

式中，X_t表示当前的新像素值，μ_i,t-1表示第t-1时刻的均值，σ_i,t-1表示第t-1时刻的方差，

如果X_t与模型存在匹配关系，则认为该像素点为背景点，若该点与所有的高斯模型都不存在匹配关系，则认为该点属于前景目标点；

选择3α准则进行自适应阈值二值化处理，阈值设定如公式(2)所示：

T＝3α+μ (2)

其中，α表示两个差分图像均值相加和的平均值，μ表示两个差分图像方差相加和的平均值；

所述步骤2中对结果进行小面积去除及形态学处理具体如下：

首先对目标图像进行膨胀操作，填充断裂区域；对目标图像进行腐蚀操作，中和膨胀的区域，减少因膨胀带来的图像失真；计算各个轮廓面积；然后轮廓面积筛选，得到最大的区域轮廓；

所述步骤2中对得到的人体目标区域提取光流运动历史图像特征具体如下：

将光流法与运动历史图像结合获得人体轮廓剪影，按照公式(3)进行处理：

flow_mhi_i＝flow_mhi_i-1+flow_i-mean(flow_mhi_i-1+flow_i)*a (3)

其中，flow_mhi_i表示最终所求第i帧的光流运动历史图像，flow_i表示第i帧的光流图像；

所述系数a＝0.8；

所述步骤2中采用数据重叠扩增的方式增加训练样本，数据重叠扩增的具体操作如下：

3D卷积神经网络以10帧为1个输入，设置对每个跌倒视频样本在每隔5帧后再采样一个连续的10帧连续视频帧序列，即从1到10帧为一个样本，6到15帧为第二个样本，11到20为第三个样本，以此类推，最终得到重叠扩增后的跌倒行为样本集；

步骤3、将步骤2获得的重叠扩增后的跌倒行为样本集按照7:3的比例随机分成训练样本集和验证样本集；

步骤4、将步骤3中的训练样本集输入3D卷积神经网络模型分类器并不断迭代训练，同时使用验证样本集不断验证模型分类器；

所述步骤4具体如下：

步骤4.1、将步骤3中的训练样本集以连续10帧视频帧图像输入网络模型中，训练时每个批样本数包含10帧图片，读取一次的形状为10×10×240×320×3的五维张量，以及10帧对应的标签，形状为16×1的一维张量，模型的初始学习率设为0.0003，学习率衰减率为0.9，权重的衰退率为0.0005，随机失活Dropout设置值为0.5，最大迭代次数为20K次；

步骤4.2、模型分类器中网络模型包含10层，输入是连续10帧的光流运动历史图像，分辨率大小240×320；共包含7个卷积层：Conv1、Conv2、Conv3、Conv4、Conv5、Conv6、Conv7、5个池化层：Pool1、Pool2、Pool3、Pool4、Pool5、2个全连接层：Fc6、Fc7以及一个softmax分类层，其中在每个卷积层和全连接层后均接入ReLu非线性层，在全连接层的ReLu非线性层后采用Dropout技术，以固定概率p随机丢弃网络中的一部分神经网络单元，被丢弃的神经网络单元在训练阶段将不再对BP算法做出贡献，防止网络训练出现过拟合现象；

步骤4.3、所有的卷积层均采用3D卷积核，大小为3×3×3，步长均为1×1×1，卷积核的个数依次设定为64、64、128、256、256，池化层均采用3D最大池化，采用3D池化进行下采样，除了第一层采用1×2×2大小的池化核和1×2×2大小的步长，其余池化层均采用2×2×2大小的池化核和步长，两层全连接层各含有512个输出单元；

步骤4.4、在3D卷积神经网络中不断迭代训练，得到训练好的模型，将测试样本集输入训练好的模型中，用softmax回归模型进行分类，最终得到分类的结果；

步骤5、将步骤2的测试样本集输入步骤4训练后的模型分类器中，完成跌倒行为识别。