[发明专利]一种基于对数路径积分特征和卷积神经网络的手势识别方法

权利要求书

1.一种基于对数路径积分特征和卷积神经网络的手势识别方法，其特征在于，包括步骤：

S1、对视频数据进行标注，训练一个基于Faster-RCNN的手部检测器；

S2、利用训练好的手部检测器对训练集和测试集的视频样本逐帧进行检测，获得每一帧的手部位置；

S3、基于每一帧的手部位置，结合时间信息和深度信息，构建出二维、三维和四维三种形式的手部轨迹；

S4、对所获得的手部轨迹进行数据增强，包括随机弃帧以及常规操作，其中，常规操作包括旋转、变形和平移；

S5、对增强后的轨迹样本提取相应的对数路径积分特征，计算出每一个轨迹点对应的对数路径积分特征；

S6、将对数路径积分特征按照空间位置信息进行排列，从而构建出对应的特征立方体；

S7、将训练集的特征立方体作为卷积神经网络的输入，训练卷积神经网络，并将测试集作为训练好的卷积神经网络的输入，输出最终的识别结果。

2.根据权利要求1所述的一种基于对数路径积分特征和卷积神经网络的手势识别方法，其特征在于，所述的步骤S1包括：

S11、将待识别的数据库的训练集视频分解成帧；

S12、利用标注工具，标注出每一帧手的位置的外接矩形，并将外接矩形的左上角和右下角坐标记录于xml文件中；

S13、用标注好的图片训练Faster-RCNN网络，所述的Faster-RCNN网络是一个端到端的物体检测神经网络，利用卷积神经网络提取图片特征，同时产生一定数目的建议框，并使用非极大值抑制方法得到最终的检测结果，将Faster-RCNN网络作为手部检测器，排除无关背景的干扰。

3.根据权利要求1所述的一种基于对数路径积分特征和卷积神经网络的手势识别方法，其特征在于，所述的步骤S2包括：

S21、将数据库的训练集和测试集视频逐帧分解；

S22、将分解出的视频帧作为手部检测器的输入，得到每一帧的手部位置坐标，存储在相应的txt文件中。

4.根据权利要求1所述的一种基于对数路径积分特征和卷积神经网络的手势识别方法，其特征在于，所述的步骤S3包括：

S31、直接将手部检测器输出的二维轨迹点坐标拼接起来，作为样本的二维形式轨迹(x,y)，二维轨迹点只包含图像平面的空间位置信息；

S32、加入时间维度，构建出三维轨迹点(x,y,t)；

S33、加上深度维度，构建出四维轨迹点(x,y,d,t)。

5.根据权利要求1所述的一种基于对数路径积分特征和卷积神经网络的手势识别方法，其特征在于，所述的步骤S4包括：

S41、对步骤S3输出的手部轨迹进行随机弃帧操作，对一个具有N帧的样本，n是随机丢弃的帧的数量，则最终得到的新样本的数量为：

随机弃帧在增加样本的同时能够模拟不同速度下的手势，增加样本的多样性；

S42、对步骤S41得到的轨迹进行正负θ角度的旋转，模拟不同个体的手势习惯；

S43、对步骤S42得到的轨迹进行变形，进一步增加样本数量；

S44、对步骤S43得到的轨迹进行平移，模拟不同位置下的相同手势。

6.根据权利要求1所述的一种基于对数路径积分特征和卷积神经网络的手势识别方法，其特征在于，所述的步骤S5包括：

S51、对步骤S4得到的轨迹进行上采样或者下采样，以统一样本的轨迹的轨迹点数；

S52、根据对数路径积分的定义公式，求每一个轨迹点对应的路径积分特征，所用的公式如下：

其中，时间区间[t₁,t₂]上路径P定义为P:为实数集，d为坐标点的维度，n为大于等于1的整数，表示张量积，是路径P的路径积分。