[发明专利]一种基于局部图像增强的家电手势快速检测识别方法

权利要求书

1.一种基于局部图像增强的家电手势快速检测识别方法，其特征在于：包括以下步骤：

步骤1、离线下检测识别模型训练

步骤1.1、人举手姿势模型训练

通过采集人举手姿势的各种光照以及距离的图片和视频，人工标定出上半身加手臂的外接矩形框作为正样本，然后选择其他场景以及姿势的图片作为负样本，将正、负样本送入深度卷积神经网络检测器进行学习，得到能够检测人举手姿势的模型；

步骤1.2、手势模型训练

通过采集不同的手势的清晰图片和视频，人工给定不同手势的定义，并送入深度卷积神经网络中进行学习，得到能够识别不同手势的模型；

步骤2、在线检测识别

步骤2.1、移动侦测

采用移动侦测方法即前后两帧之间的差分图来判断运动区域；然后在此运动区域的基础上，扩大范围并设定为感兴趣区域；

步骤2.2、人举手姿势检测

根据步骤1.1中学习到的人举手姿势模型，对步骤2.1中得到的每一个感兴趣区域进行检测，从而判断是否是人举手姿势，当判断为人举手姿势时，输出特征图；

检测过程是利用深度卷积神经网络进行，将感兴趣区域直接输入到卷积神经网络中，并对感兴趣区域进行卷积以及池化操作，采用步骤1.1中训练得到的人举手姿势模型，得到目标的位置和目标的置信度，所谓的置信度，就是此目标区域是人举手的姿势的概率值；将此检测出来的目标放大回原来图像尺度，就能够对应到原图的区域，从而能够检测原图上不同大小的目标；在原图上按照置信度将所有检测出来的相邻目标框加权平均，得到最终的目标区域以及总的置信度，最终置信度大于阈值的区域，认为是人举手姿势的区域；

步骤2.3、人手位置定位与局部增强

采用检测器确定步骤2中的特征图中人举手的位置，在该位置上，通过局部图像增强来增加此位置的清晰度，获取高清手势图像；

步骤2.4、手势识别

根据步骤1.2训练得到的手势模型，对步骤2.3中得到的高清手势图像进行识别，得到不同的手势结果。

2.根据权利要求1所述的一种基于局部图像增强的家电手势快速检测识别方法，其特征在于：所述检测识别方法还包括：

步骤2.5、手势跟踪

一旦步骤2.3中的手定位完成，在启动2.4手势识别线程的同时，启动跟踪线程；此线程利用跟踪算法时刻跟踪手的位置，在下一次手势识别判断的时候，直接通过跟踪判断手的位置。

3.根据权利要求1或2所述的一种基于局部图像增强的家电手势快速检测识别方法，其特征在于：所述步骤2.3中，图像增强的方法为：通过变焦镜头，利用所定位到的人手位置，判断人手的大小，来推断人手的位置，将镜头焦距调整到能够清晰拍摄到人手轮廓的距离即可获得高清手势图像。

4.根据权利要求1或2所述的一种基于局部图像增强的家电手势快速检测识别方法，其特征在于：所述步骤2.3中，图像增强的方法为：通过对图像此区域进行局部ISP调整和直方图均衡化来获取高清手势图像。

5.根据权利要求1或2所述的一种基于局部图像增强的家电手势快速检测识别方法，其特征在于：所述步骤1中还包括：

步骤1.3、手势局部区域高分辨率生成对抗网络模型训练

通过采集大量不同手势的低分辨率模糊图片以及与其对应的高分辨率清晰图片，送入生成对抗网络中进行学习，得到能够将低分辨率的手势图片转换成高分辨率手势图片的生成对抗网络模型；

所述步骤2.3中，图像增强的方法为：采用步骤1.3中训练得到的生成对抗网络模型，来生成一个高分辨率、高清晰度的高清手势图像。

6.根据权利要求5所述的一种基于局部图像增强的家电手势快速检测识别方法，其特征在于：所述步骤1.3中，训练过程中低分辨率图片与高分辨率图片的比例为N:1其中，N为1-5。

7.根据权利要求1所述的一种基于局部图像增强的家电手势快速检测识别方法，其特征在于：所述步骤2.3中，检测器为Cascade级联检测器。