[发明专利]基于深度神经网络的手势识别方法、装置及系统

权利要求书

1.一种基于深度神经网络的手势识别方法，包括：

基于深度神经网络检测来自摄像头的手势图片的手势类型和手势参数；

基于所述手势类型和手势参数提取所述手势图片的感兴趣区域；

获取来自Kinect摄像头的手势识别模型；

利用所述手势识别模型识别所述感兴趣区域的手势得到第一手势识别结果。

2.根据权利要求1所述的方法，还包括：

将所述第一手势识别结果与利用Kinect摄像头根据手部骨骼信息得到的第二手势识别结果加权得到最终识别结果。

3.根据权利要求1所述的方法，其中，所述基于深度神经网络检测来自摄像头的手势图片的手势类型和手势参数，包括：

获取来自摄像头的手势图片；

对所述手势图片进行处理和标注得到手势图片的特征；

基于所述手势图片的特征对深度神经网络模型进行训练，得到所述手势类型和手势参数。

4.根据权利要求1所述的方法，其中，所述手势识别模型通过以下步骤获取：

所述Kinect摄像头的视觉手势生成器获取手势文件；

对所述手势文件添加剪辑及标记生成手势数据集；

基于所述手势数据集，训练得到所述手势识别模型。

5.根据权利要求4所述的方法，其中，所述Kinect摄像头的视觉手势生成器获取手势文件中，所述手势文件通过所述Kinect摄像头录制剪辑手势视频并将所述手势视频转换为所述视觉手势生成器能识别的手势文件。

6.根据权利要求4所述的方法，其中，所述基于所述手势数据集，训练得到所述手势识别模型，包括：

基于所述手势数据集的手势特征，训练得到弱分类器；

加权组合所述弱分类器得到强分类器；

选取识别率高于识别阈值的所述强分类器作为所述手势识别模型。

7.根据权利要求1所述的方法，其中，所述利用所述手势识别模型识别所述感兴趣区域的手势得到第一手势识别结果，包括：

获取所述感兴趣区域的手势的手势特征集；

对所述手势特征集进行数据分割得到手势分类数据；

利用所述手势识别模型识别所述手势分类数据得到所述第一手势识别结果。

8.一种基于深度神经网络的手势识别装置，包括：

手势检测单元，基于深度神经网络检测来自摄像头的手势图片的手势类型和手势参数；

区域提取单元，基于所述手势类型和手势参数提取所述手势图片的感兴趣区域；

模型获取单元，获取来自Kinect摄像头的手势识别模型；

手势识别单元，利用所述手势识别模型识别所述感兴趣区域的手势得到第一手势识别结果。

9.根据权利要求8所述的装置，还包括：

加权识别单元，将所述第一手势识别结果与利用Kinect摄像头根据手部骨骼信息得到的第二手势识别结果加权得到最终识别结果。

所述手势检测单元包括：

图片获取单元，获取来自摄像头的手势图片；

图片处理单元，对所述手势图片进行处理和标注得到手势图片的特征；

模型检测单元，基于所述手势图片的特征对深度神经网络模型进行训练，得到所述手势类型和手势参数。

所述手势识别单元包括：

手势特征集获取单元，获取所述感兴趣区域的手势的手势特征集；

分割单元，对所述手势特征集进行数据分割得到手势分类数据；

识别单元，利用所述手势识别模型识别所述手势分类数据得到所述第一手势识别结果。

10.一种基于深度神经网络的手势识别系统，包括：

摄像头，获取手势图片；

Kinect摄像头，生成手势识别模型；

权利要求8至权利要求9任一项所述的基于深度神经网络的手势识别装置。