[发明专利]一种基于单目视觉移动拍摄下的手势轨迹识别方法

说明书

技术领域

本发明涉及一种图像识别技术，尤其是一种人体定位和手势轨迹识别技术，具体地说是一种基于单目视觉移动拍摄下的手势轨迹识别方法，它能被用于舰艇指挥人员的定位和识别。

背景技术

据报道，美国研究人员能使无人机识别76％的航空母舰上指挥人员的手势。目前常规舰载机通过地面指挥人员对机上人员进行起飞、出库、入库等一系列指挥。随着无人舰载机的应用，需要使其能对常规手势能够识别。

在基于视觉的手势交互方面，具有代表性的研究成果包括:1991年富士通实验室完成了对46种手语符号的识别(详见文献：TakahashiT,Shino FK.Hand gesture coding based on experiments using a hand gesture interface device.SIGCHI Bulletin,1991,23(2):67-73)；Davis和Shah将戴上指尖具有高亮标记的辅助手套的手势作为系统的输入，可识别7种手势(详见文献：Davis,ShahM.V isualgesture recognition.In:Proceedings of the IEEE Vision-Image SignalProcessing,1994.321-332)；Grobel和Assam从视频录像中提取特征，采用HMM技术识别262个孤立词，正确率为91.3％(详见文献：G robelK,Assam M.Isolated sign language recognition using hiddenM arkov models.In:Proceedings of the IEEE International Symposium on Field-Progrrammable Custom Computing Machines,2007,pp.35-44)。

无人机对地面指挥人员的手势指挥的信号输入是基于机上摄像机的拍摄。由于整个背景随着摄像机的运动而运动，传统的基于背景建模的手势轨迹识别方法将产生如下困难：

(1)前景(指挥手势)、背景(周围环境)难以分割。

(2)背景在图像上产生运动。难以确定目标相对于背景的运动方向和大小。

基于上述原因，本发明提出一种先根据形态特征定位指挥人员腿部，通过腿部区域边长确定大小尺度，通过手势相对与人脸的相对位置作为研究对象，进行手势轨迹识别的方法。该方法能在单目视觉移动拍摄的情形下实现指挥人员的手势轨迹识别。

发明内容

本发明的目的是目前无人机着舰时对指挥人员手势判定难度较大，易出现差错的问题，发明一种基于单目视觉移动拍摄下的手势轨迹识别方法，以帮助无人机着舰过程中快速准确判定指挥人员的手势，以实现准确着舰。

本发明的技术方案：

一种基于单目视觉移动拍摄下的手势轨迹识别方法，其特征是它主要包括以下步骤：

(1)在一帧图像上进行指挥人员的腿部检测和定位，并利用HOG-SVM分类器对检测到的区域进一步匹配确认；

(2)在步骤(1)的基础上，根据位置关系，确定相应的人脸检测区域；

(3)在脸部检测区域内进行人脸检测和定位，从而判别该人员是否为指挥人员。若存在唯一腿部和对应的正脸则该人员即为唯一指挥人员，并进入下一步。如果不存在则结束此帧处理；

(4)根据人脸区域进一步确定手势检测区域。

(5)在连续帧上对人脸区域进行CamShift跟踪，若人脸在图像上产生位移大于给定的阈值，说明摄像机产生移动，重新检测腿部和脸部。

(6)利用HSV肤色模型对手部进行分割，计算手部位置；

(7)在连续帧上确定双手位置，利用HMM基于手部位移方向，完成手势轨迹识别。

所述的步骤(1)中采用的haar-Adaboost分类器，选取扩展的haar-like矩形特征。分类器训练所采用的正样本大小为20×20像素，正对摄像机，双腿呈25°～45°跨步站立的腿部图片，如图1。负样本为任意大小不含跨步站立腿部的背景或者行人的图片。针对haar-Adaboost算法虚警率高的问题，采用HOG-SVM分类器对检测到的腿部进行再次筛选，腿部筛选的训练和检测方法如下：

(1)采集正负样本。其中正样本为大小为64×64像素，同haar-Adaboost方法中的正样本。负样本为haar-Adaboost检测器检测到的错误正样本。