[发明专利]一种基于C-C3D的手语识别方法

说明书

本发明提出了一种基于C‑C3D的手势识别方法，以C3D网络为主要特征提取网络并加以改进，通过一对角点圈定时序候选框并设计一种可变长的三维卷积核，在时序候选框分类回归子网络中实现对手语手势动作的识别。

技术领域

本发明涉及深度学习目标检测和行为识别领域，具体涉及到一种基于C-C3D的手语识别方法。

背景技术

一种基于C-C3D的手语识别方法，基于深度学习目标检测和行为识别技术。最接近本发明的技术有：

(1)、深度学习：随着深度学习技术的飞速发展，为解决生产中的许多难题提供了新的思路。卷积神经网络的强大之处在于它的多层结构能自动学习特征，并且可以学习到多个层次的特征：较浅的卷积层感知域较小，学习到一些局部区域的特征；较深的卷积层具有较大的感知域，能够学习到更加抽象一些的特征。这些抽象特征对物体的大小、位置和方向等敏感性更低，从而有助于识别性能的提高。对于目标的几何变换、形变、光照等因素适应性较强，有效克服了由于目标外观多变带来的识别阻力。它可根据输入到网络的数据自动地进行特征提取和分析，具有较高的普适性泛化能力。

(2)、C3D网络：C3D网络可以用来提取视频的空间时间特征。基于3D卷积操作，C3D网络共有8次卷积操作，4次池化操作。其中卷积核的大小均为3×3×3，步长为1×1×1。为了不过早缩减时序上的长度，除第一层池化大小和步长均为1×2×2外，其他池化核的大小为2×2×2,步长为2×2×2。最终网络在经过两次全连接层和softmax层后就得到了最终的输出结果。网络的输入尺寸为3×16×112×112，即一次输入16帧图像。相比于2D网络，3D网络能够更好的提取特征，而且只需配合简单分类器就能够比当前多数已有算法取得更好的表现。但是C3D网络只能对定长视频进行处理，并且只能进行视频分类而不能对视频中的目标进行检测。

为充分利用深度学习的优势，弥补C3D在手语动作识别方向上的欠缺，我们将C3D网络进行改进设计了基于角点的三维卷积神经网络C-C3D，并提出了一种基于C-C3D的手语识别方法。

发明内容

为解决现有技术中的缺点和不足，本发明设计了基于角点的三维卷积神经网络C-C3D，并提出了一种基于C-C3D的手语识别方法。

本发明的技术方案为：

步骤(1)、在C-C3D的特征提取子网络中，以C3D网络为主体网络，将任意长度的视频作为输入，经过特征提取网络的一系列卷积、池化和激活操作之后得到原视频的特征图；

步骤(2)、在C-C3D的时序候选框提取子网络中，基于实际数据和虚拟数据以及业务特点，设计长度可变三维卷积，采用一对角点确定候选框的位置，并提取可能存在目标的候选时序；

步骤(3)、C-C3D的时序候选框分类回归子网络从时序候选框提取子网络中选择出候选区域，在所选择的候选区域中提取固定大小的特征，并以此特征为基础对候选区域做类别判断和时序边框回归；

步骤(4)、联合时序候选框提取子网络和分类回归子网络，将分类和回归相联合，共同设计损失函数。

本发明的有益效果：

(1)本方法在候选区域的提取过程中通过一对角点确定可能存在手势的区域，并设计了一种长度可变的三维卷积；

(2)设计了一种新的动作识别网络C-C3D，可以处理不定长的视频长度并分析出视频手势的含义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。