[发明专利]一种基于跨层融合的多模型投票均值动作识别方法

权利要求书

1.一种基于跨层融合的多模型投票均值动作识别方法，包括以下步骤：

步骤(1)：在排序池化操作的基础上，构建近似排序池化的方法聚集视频中的动作信息，生成近似动态图像；

步骤(2)：对近似动态图像进行水平翻转操作，使得图像的数据量翻倍；

步骤(3)：在动态网络模型的基础上，对卷积神经网络提取到的动作特征进行水平翻转操作，使得可区别的动作特征数据量翻倍，为便于区分，将此模型定义为无融合模型；

步骤(4)：对无融合模型添加跨层融合结构，即将模型第二层的输出与模型第五层的输出进行融合，构建跨层融合模型；

步骤(5)：采用三种数据划分方式以及两种生成近似动态图像的顺序在无融合模型以及跨层融合模型上分别进行训练，得到多个不同的分类器；

步骤(6)：采用集成学习的思想将多个已训练好的动作模型进行融合，同时借助投票的方法，构成多模型投票均值的动作识别系统；

步骤(7)：随机抽取验证集中的视频数据，按照步骤(1)的方法生成近似动态图像，并将近似动态图像输入到多模型投票均值的识别系统中，即可得到动作类的识别准确率；

所述三种数据划分方式是指将训练集中的视频数据按照不重叠的方式进行划分，某一动作类有十五个视频数据，第一种数据划分方式是将前十个视频数据当作训练集，后五个视频数据用作验证集；第二种数据划分方式是前五个和后五个视频数据用作训练集，中间五个视频数据用作验证集；第三种数据划分方式是将后十个视频数据用作训练集，前五个视频数据用作验证集；

所述的两种生成近似动态图像的顺序是指在将视频帧聚集成近似动态图像时，按视频帧的顺序输入，将视频帧按反序输入，这两种方式都可生成近似动态图像，而且生成的近似动态图像都不一样。

2.如权利要求1所述的一种基于跨层融合的多模型投票均值动作识别方法，其特征在于：所述的近似排序池化是指通过视频的编码函数聚集一段视频中的运动信息；由于相同的动作视频都可用同一个函数近似表示，因此我们可以通过一个函数来表示一类动作；这个函数可聚集视频中的运动信息，将这些运动信息映射到一张RGB图像即可得到动态图像，鉴于卷积神经网络模型中具有大量的归一化操作，因此加快视频的预处理，不对运动信息进行归一化，即可得到近似动态图像。