[发明专利]一种融合人脸和手势的智能终端人机交互方法

说明书

技术领域

本发明涉及一种融合人脸和手势的智能终端人机交互方法，属于图像处理技术领域。

背景技术

随着智能手机、智能电视、平板电脑、车载智能系统的迅速普及，人与智能终端的交互活动成为人们日常生活中的重要组成部分。在这种情况下，基于语音、人脸、手势等更加自然、更加方便的人机交互技术得到迅猛发展。

人脸识别技术提供了一种自然的人机交互方法。人脸是人类视觉中最为普遍的模式，最容易被人类接受。人的面部所表现的视觉信息在社会交流中有着很重要的作用和意义。人脸识别技术依托模式识别、图像理解、计算机视觉和人工智能等多种学科，同时和认知学、神经科学、生理心理学等学科有着千丝万缕的联系。尽管人类在婴儿期就可以毫不费力地快速、准确的识别人脸，然而利用计算机进行人脸识别仍然是一个挑战。目前，虽然基于人脸识别的应用开始出现在智能手机、智能电视等终端产品上，但是受光线、角度、表情、遮挡物、眼镜、年龄等因素影响，人脸识别的效果尚不够理想。

手势是另外一种自然、直观、易于学习的人机交互手段。手势可以分为静态手势和动态手势两种:静态手势指在单个时间点上手的空间姿态，如手的形状、方向和身体的相对位置等;动态手势则是由一段时间内的手的一系列姿态组成，相比静态手势增加了时间信息和动作特征，如手的姿态变化和运动轨迹。基于视觉的手势识别技术突出优点是输入设备便捷，例如摄像头已经成为智能手机等终端产品的标准配置，并且它对人手不做其他附加设备要求（如手套等），使计算机与人的交互更加趋于自然化。另外，基于视觉的手势识别技术采用视频输入的方式，可适用于远距离、非接触、自由度更大的人机交互或控制系统。目前国际上研究手势识别的大学和机构比较多，例如美国的卡内基·梅隆大学、麻省理工学院、伊利诺伊斯大学(UIUC)等，微软、IBM、东芝、日立等公司也在手势识别研究中做了很多努力。国内的对该领域进行研究单位主要集中在高校和中科院自动化研究所，现在对手势识别的研究都还处于算法研究方面，大部分的实现都是基于PC机平台的，只有少数研究为提高速度而采用了硬件加速的方法。

综上所述，无论是人脸还是手势，其识别效果目前尚不理想。研究发现单一生物特征（例如人脸、手形、指纹等）所含信息有限，是无法满足人们多样化需求（自然、方便、安全等）的主要原因之一。文献[5]揭示了通常使用的手形和人脸所包含的信息内容分别只有10⁵和10³数量级，所以基于单一人脸或手形识别技术的系统不可能满足人们日常生活的多样化需求。另外，尽管指纹和虹膜拥有大量的信息内容，但是已有的指纹认证系统对于低质量的指纹图像的识别率也不乐观。因此，对于某些关键应用，单一生物特征识别系统都很难满足人们需求。

因此，随着智能终端及系统的迅速普及，为满足人们越来越多的需求，研究多模态生物识别融合技术（例如人脸+手势、人脸+声音、人脸+指纹等），并将其应用到智能终端及系统的人机交互中成为当前研究的热点。

发明内容

本发明针对以上问题的提出，而研制一种融合人脸和手势的智能终端人机交互方法。

本发明采取的技术方案如下：

第一步：根据智能终端摄像头采集到的人脸图像，采用灰度投影方法快速定位人眼瞳孔位置，并利用瞳孔距离对人脸图像进行归一化处理；

第二步：对归一化处理得到的人脸图像，利用灰度投影法计算面部主要特征的中心坐标，并根据中心坐标划分13个人脸面部感兴趣区域（ROI），所述面部主要特征包括眼睛、鼻子、嘴、耳朵的特征；

第三步：根据智能终端摄像头采集到的手势图像进行手部肤色和背景建模，利用肤色分割和背景减除方法进行手势检测；

第四步：对第三步检测到的手势图像，利用梯度方向直方图方法描述其特征，同时结合主元分析方法（PCA）构建其特征子空间，然后采用在线机器学习方法将第三步检测到的手势图像分成M类，在本发明中，我们将M设定为10*2类，这样为了区分左右手；

第五步：根据第二步定义的13个人脸面部感兴趣区域（ROI），结合第四步手势识别分类结果共M类，可定义13*M类人脸-手势基本模式；结合用户眼睛连续闭合次数，可定义13*M*N类人脸-手势扩展模式，N为眼睛连续闭合次数；

第六步：根据第五步定义的人脸-手势基本模式或扩展模式，可由用户自定义不同的人机交互操作。

所述第五步所述定义13*M类人脸-手势基本模式，结合用户眼睛连续闭合次数，可定义13*M*N类人脸-手势扩展模式，N为用户眼睛连续闭合次数。