[发明专利]一种基于双摄手机和人工智能系统的手势识别系统

权利要求书

1.一种基于双摄手机和人工智能系统的手势识别系统，利用双摄手机和机器学习实现人体手势的识别，其特征在于，该系统包括图像采集模块(100)、图像预处理模块(200)、神经网络训练模块(300)和手势识别模块(400)；其中：

所述图像采集模块，用于获取因摄像头视角不同产生的两幅差异性的原始图像，包括左、右摄像头的彩色图像和包含深度信息的图像，并保存；

所述图像预处理模块，用于从原始图像中截取手势区域，获取手势区域深度图像；

所述神经网络训练模块，用于对采集的深度图像利用深度神经网络进行训练，得到神经网络系统；

所述手势检验识别模块，用于依据所需识别的手势图像输入信息，返回手势识别结果；

利用所述图像采集模块(100)同时获取两个摄像头的JPG图像数据；该JPG图像包含了3个部分，即左摄像头拍摄的彩色图像和右摄像头拍摄的彩色图像以及预处理得到的的深度图像；然后进行JPG图像分割处理，即根据JPG文件格式规定：0xFFD8为jpg文件头、0xFFDA为SOA格式段，提取出相应的左、右摄像头图像的存储片段分别保存；接着深度图像片段以0x0065646f6600开始，提取后单独保存；该十六进制串的ascii字符表示为edof标志；

利用所述图像预处理模块(200)从原始图像中获取具有深度信息的图像中，利用阈值分割法截取深度图像中的手势区域；并从彩色图像中截取相应手势区域，作为初步手势分割结果；将彩色图像由RGB空间转换到HSV空间，利用kmeans机器学习聚类方法对图像的颜色信息进行聚类，将HSV空间的图像数据聚类为3类，即得到背景白色一类、手势区域一类以及其他区域一类；获取手势区域的分类像素以后，求像素均值以及方差大小，利用阈值分割法根据均值和方差截取彩色图像中对应的精确手势区域；利用彩色图像精确手势区域切割出深度图像手势区域，得到最终的深度手势图像；对最终的深度手势图像进行变换扩展，增强训练数据集，达到约30000张以上的深度图像；

利用所述神经网络训练模块(300)对图像预处理模块所获得的手势区域深度图进行神经网络训练，该神经网络由4层构成，第一层为卷积神经网络层，由16个5*5的卷积核，和1个2*2的最大值子采样卷积核，将输入的大小为72*96的灰度图输出16个36*48特征；第二层为卷积神经网络层，由32个5*5的卷积核，和1个2*2的最大值子采样卷积核，将输入的大小为个32个36*48的灰度图输出64个18*24的特征；第三层为全连接层，将输出的64个18*24的特征图全连接到512个输出神经元；第四层为softmax层，有512个输入神经元，输出到9个输出神经元，代表1～9的9个数字，取输出最大的项作为识别的结果；

利用所述手势检验识别模块(400)，经过上述图像预处理模块进行预处理得到的手势深度图，然后输入神经网络层，得到预测结果。