[发明专利]基于级联卷积神经网络的第一视角空中手写和空中交互方法

说明书

本发明公开了一种基于级联卷积神经网络的第一视角空中手写和空中交互方法，包括下述步骤：S1、获取训练数据；S2、设计一个深度卷积神经网络用于手部检测；S3、设计一个深度卷积神经网络用于手势分类和指尖检测；S4、将一级网络和二级网络级联，通过一级网络输出的前景外接矩形切割出感兴趣区域从而获得包含手部的前景区域，然后将前景区域作为第二级卷积网络的输入进行指尖检测和手势识别；S5、判断手势类别，若为单指手势，则输出其指尖坐标并进行时序平滑和点间插值；S6、利用连续多帧的指尖采样坐标进行文字识别。本发明提供了一种完整的空中手写和空中交互算法，实现准确鲁棒的指尖检测和手势分类从而实现第一视角空中手写和空中交互。

技术领域

本发明涉及计算机视觉以及机器学习领域，特别涉及一种基于级联卷积神经网络的第一视角空中手写和空中交互方法。

背景技术

近年来，随着虚拟现实技术(Virtual Reality,VR)和增强现实技术(AugmentingReality,AR)的兴起，第一视角(Egocentric Vision)手势交互技术受到学术界和工业界的广泛关注，尤其是Google Glass、Microsoft Hololens等智能可穿戴式设备以及Oculus等虚拟现实设备的出现使得传统的人机交互方式难以适用，急需一种算法来帮助设备理解人的交互需要,如手势操作等。手势交互技术主要涉及两个方面，手势识别和关键点定位，本发明为结合手势识别和关键点定位形成的一个综合应用，即指尖检测获得采样点以及手势识别获得书写信号。假象如下使用场景：用户在不方便使用触摸屏的情境下，可以直接在空中进行第一视角手写，完成发送信息操作；用户在需要对现实画面进行某些图像操作如拍照，在不便于使用拍照设备情况下可直接利用指尖空中画圈或其他手势实现即时拍摄。

过去一些年里，关于手势交互的算法大多数考虑利用肤色先验信息或者运动时序信息，但是都只能使用在受限的实验室环境，无法适应室内室外场景变化，光照变化等因素。另外，传统的人工特征提取无法充分刻画不同使用者的肤色变化和手部姿态多样性。最近兴起的深度学习技术正好可以解决这个特征提取问题。利用善于处理视觉信息的是深度卷积神经网络(CNN)能训练出一个能够提取图像浅层特征并逐层将浅层特征通过非线性变换抽象成高级特征的神经网络。CNN方法在各种视觉分类任务，如多类别物体识别等，获得极佳表现，同时在某些回归问题，如人脸关键点检测、行人检测等任务中亦表现出非常好的效果。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于级联卷积神经网络的第一视角空中手写和空中交互方法，解决动态视频流里面指尖检测问题和手势识别的问题，并利用手势识别作为信号，指尖检测跟踪作为采样点集，实现一套第一视角的空中手写和空中交互方案。

为了达到上述目的，本发明采用以下技术方案：

本发明基于级联卷积神经网络的第一视角空中手写和空中交互方法，包括下述步骤：

S1、获取训练数据，人工标记包含手部区域的前景区域的左上角点和右下角点，人工标记指尖所在坐标，人工标记不同手势的类别；

S2、设计一个深度卷积神经网络用于手部检测，该神经网络输入为第一视角下的单帧图像，输出为手部前景矩形的左上角坐标和右下角坐标，投入训练数据并优化欧氏范数损失函数，迭代直至参数稳定；

S3、设计一个深度卷积神经网络用于手势识别和指尖检测，该神经网络输入为仅包含手部区域的前景矩形，输出为指尖坐标和手势类别，投入训练数据并优化一个分段损失函数，迭代直至参数稳定；

S4、将一级网络和二级网络级联，通过一级网络输出的前景外接矩形切割出感兴趣区域从而获得包含手部的前景区域，然后将前景区域作为第二级卷积网络的输入进行指尖检测和手势识别；

S5、判断手势类别，若为单指手势，则输出其指尖坐标并进行时序平滑和点间插值；

S6、利用连续多帧的指尖采样坐标进行文字识别。