[发明专利]一种基于双摄手机和人工智能系统的手势识别系统

说明书

本发明公开了一种基于双摄手机和人工智能系统的手势识别系统，利用双摄手机和机器学习实现人体手势的识别，所述图像采集模块，用于获取因摄像头视角不同产生的两幅差异性的原始图像，包括左、右摄像头的彩色图像和包含深度信息的图像，并保存；所述图像预处理模块，用于从原始图像中截取手势区域，获取手势区域深度图像；所述神经网络训练模块，用于对采集的深度图像利用深度神经网络进行训练，得到识别正确率达到92％以上的神经网络系统；所述手势检验识别模块，用于依据所需识别的手势图像输入信息，返回手势识别结果。与现有技术相比，本发明增加了深度信息具有更精确的手势信息，从而有更高的识别准确率。

技术领域

本发明涉及计算机图像处理、人工智能方面的技术，特别涉及一种通过利用双目立体视觉获取3D图像以进行手势识别的系统及手势识别方法。

背景技术

人机交互是指人与机器之前的一种对话方式。从原始的键盘、鼠标到现在的摄像头、各种传感器等，经历了巨大的创新和发展。随着VR技术的不断发展，动作交互的识别成为了新的发展热门。如何捕捉用户的动作手势，进行识别判定，是一门复杂的艺术。

随着手机软件硬件的不断发展，双摄像头正成为主流手机的标准配置，搭载双摄像头的手机可以提供更好的远摄性能，而且两枚镜头相互配合还可以带来如相机般的背景虚化能力，在拍摄人像照片的时候有着很好的效果。不仅如此，利用双摄像头的双目立体视觉，可以实现3D效果的图像视频，获得景物的深度图像数据。从而运用3D数据到其他具体场景。

机器学习领域自2006年以来不断完善和发展。在图像处理领域，卷积神经网络取得了巨大的实际运用成果。通过有监督的深度学习模型CNN(卷积神经网络)，利用权值共享、下采样等空间计算方式来减少参数个数从而减少局部最小值个数，能有减少参数，有助于在训练时找到一个最好的局部最优解。从而提高识别率，达到良好的效果。

发明内容

基于现有技术，本发明提出了一种利用双摄手机和人工智能系统手势识别系统，作为一种新型的人机交互手段，本发明通过双摄手机的双摄像头拍摄手势照片，利用双摄像头提取出的深度手势图像训练深度神经网络，经过处理返回手势识别的结果，即手势含义。

本发明的一种基于双摄手机和人工智能系统的手势识别系统，利用双摄手机和机器学习实现人体手势的识别，该系统包括图像采集模块、图像预处理模块、神经网络训练模块和手势识别模块；其中：

所述图像采集模块100，用于获取因摄像头视角不同产生的两幅差异性的原始图像，包括左、右摄像头的彩色图像和包含深度信息的图像，并保存；

所述图像预处理模块200，用于从原始图像中截取手势区域，获取手势区域深度图像；

所述神经网络训练模块300，用于对采集的深度图像利用深度神经网络进行训练，得到神经网络系统；

所述手势检验识别模块400，用于依据所需识别的手势图像输入信息，返回手势识别结果；

利用所述图像采集模块100同时获取两个摄像头的JPG图像数据。该JPG图像包含了3个部分，即左摄像头拍摄的彩色图像和右摄像头拍摄的彩色图像以及预处理得到的的深度图像；然后进行JPG图像分割处理，即根据JPG文件格式规定：0xFFD8为jpg文件头、0xFFDA为SOA格式段，提取出相应的左、右摄像头图像的存储片段分别保存；接着深度图像片段以0x0065646f6600开始，提取后单独保存。该十六进制串的字符表示为edof标志；