[发明专利]一种基于Faster-RCNN的手势识别系统及方法

说明书

本发明公开了一种基于Faster‑RCNN的手势识别系统及方法，属于计算机视觉技术领域。系统包括：单目摄像机，用于采集实时手势图像并将其发送给客户端；客户端，用于对每一手势图像进行处理以捕捉手部轮廓，累积一定数量的经过所述处理并且标注了手势类别的手势图像形成手势图像数据集，并将该手势图像数据集发送给服务器端；得到所述手势图像数据集以后，将经过所述处理的实时手势图像发送给服务器端；服务器端，用于使用手势图像数据集对Faster‑RCNN进行训练得到手势识别模型；通过训练好的手势识别模型从所接收的实时手势图像中对用户的实时手势进行识别。仅需使用单目摄像机采集用户手势，即可实现高准确度的手势识别，同时解决了单台计算机运算资源消耗大的问题。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于Faster-RCNN的手势识别系统及方法。

背景技术

手势识别技术是用户与虚拟现实场景交互的重要方法，手势可定义为手部的动作姿势，可以被计算机跟踪并获得其所包含的信息，转换为有意义的指令。手势识别技术常用于基于体感交互的虚拟现实应用，在用户与虚拟现实场景进行交互时，计算机需要获得并识别用户的手势，并将用户手部的位姿信息同步到虚拟现实场景中，与场景中的对象产生交互。

现有的手势识别方法大多数采用数据手套、深度摄像机或单目摄像机来获取用户手势。数据手套是通过内置在手套中的传感器来采集手势数据的设备，主要使用惯性传感器、光纤传感器、光学传感器来获取用户手势，但使用惯性传感器的数据手套容易受到磁场干扰，且容易出现零点漂移问题；使用光纤传感器的数据手套由于光纤传感器在手指上的布置过于复杂，当用户手型差距过大时表现效果较差；使用光学传感器的数据手套存在红外定位点易丢失的问题。深度摄像机使用双目立体视觉成像原理，使用双目摄像头来捕捉用户手势，建立手部的立体模型，由于需要使用双目摄像头，所以深度摄像机比单目摄像机的成本要高。使用单目摄像机获取用户手势的成本较低，但面临手势识别效果受复杂背景影响导致准确率较低、对单台计算机运算资源消耗较大的问题。

发明内容

针对现有技术存在的不足，本发明的目的是提供一种基于Faster-RCNN的手势识别系统及方法，仅需使用单目摄像机捕捉用户手势，即可实现高准确度的手势识别，使用户可以通过手势与虚拟场景进行交互，同时解决单台计算机运算资源消耗较大的问题。

为解决上述技术问题，本发明第一方面提供一种基于Faster-RCNN的手势识别系统，该系统包括：

单目摄像机，用于采集实时的手势图像，并将实时手势图像发送给客户端；

客户端，用于对接收的每一手势图像进行处理以捕捉手部轮廓，并且累积一定数量的经过所述处理并且标注了手势类别的手势图像形成手势图像数据集，并将该手势图像数据集发送给服务器端；得到所述手势图像数据集以后，将经过所述处理的实时手势图像直接发送给服务器端；

服务器端，用于使用手势图像数据集对Faster-RCNN进行训练得到手势识别模型；通过训练好的手势识别模型从所接收的实时手势图像中对用户的实时手势进行识别。

本发明另一方面提供一种基于Faster-RCNN的手势识别方法，包括如下步骤：

步骤S1：开启单目摄像机采集手势图像的视频流；

步骤S2：客户端开始读取获得的视频流，并对视频流的画面进行裁剪得到手势图像，保存到本地；

步骤S3：在客户端对每一手势图像进行处理以捕捉手部轮廓，并且累积一定数量的经过所述处理并且标注了手势类别的手势图像形成手势图像数据集，并将该手势图像数据集发送给服务器端；得到所述手势图像数据集以后，将经过所述处理的实时手势图像直接发送给服务器端；

步骤S4：在服务器端，使用步骤S3得到的手势图像数据集对Faster-RCNN进行训练得到手势识别模型；