[发明专利]一种基于跨层融合的多模型投票均值动作识别方法

摘要

一种基于跨层融合的多模型投票均值动作识别方法，通过改进动作识别模型，借助多种参数设置，构建多模型投票均值的动作识别系统。利用近似排序池化方法，聚集视频中的运动信息生成一张RGB图像即近似动态图像。对近似动态图像进行水平翻转操作，使得视频数据量翻倍。将视频数据输入到卷积神经网络模型前，对模型进行改进。同时，在将卷积神经网络模型提取到的卷积特征输入全连接层前，对卷积特征进行水平翻转操作，直接增加卷积特征的数据量。多次设置多个不同的参数对模型进行训练，得到多个不同的预训练模型，采用集成学习的思想，构造多模型投票均值的识别系统。本发明多模型投票均值系统可增强系统的鲁棒性，进一步提高识别率。在工程领域中具有现实的应用价值。

主权项

1.一种基于跨层融合的多模型投票均值动作识别方法，包括以下步骤：步骤(1)：在排序池化操作的基础上，构建近似排序池化的方法聚集视频中的动作信息，生成近似动态图像；步骤(2)：对近似动态图像进行水平翻转操作，使得图像的数据量翻倍；步骤(3)：在动态网络模型的基础上，对卷积神经网络提取到的动作特征进行水平翻转操作，使得可区别的动作特征数据量翻倍，为便于区分，将此模型定义为无融合模型；步骤(4)：对无融合模型添加跨层融合结构，即将模型第二层的输出与模型第五层的输出进行融合，构建跨层融合模型；步骤(5)：采用三种数据划分方式以及两种生成近似动态图像的顺序在无融合模型以及跨层融合模型上分别进行训练，得到多个不同的分类器；步骤(6)：采用集成学习的思想将多个已训练好的动作模型进行融合，同时借助投票的方法，构成多模型投票均值的动作识别系统；步骤(7)：随机抽取验证集中的视频数据，按照步骤(1)的方法生成近似动态图像，并将近似动态图像输入到多模型投票均值的识别系统中，即可得到动作类的识别准确率。