[发明专利]基于手势控制非触摸屏的人机交互系统及方法

权利要求书

1.一种基于手势控制非触摸屏的人机交互系统，包括一台主控制器(1)和一块显示屏(2)，其特征在于：所述显示屏(2)垂直放置；在显示屏(2)的斜上方安置一个高速照相机(3)对着显示屏(2)；在高速照相机(3)前设置一个偏振片(4)；通过调整偏振片(4)的旋转角度来消除显示屏(2)上的偏振光；显示屏(2)和高速照相机(3)连接到主控制器(1)；显示屏(2)可进行三维空间旋转，高速照相机(3)也相应的改变拍摄位置和角度；

所述基于手势控制非触摸屏的人机交互系统采用如下的基于手势控制非触摸屏的人机交互方法进行操作，其操作步骤如下：

1)启动人机交互系统；

2)在人机交互系统内设定工作范围；

3)手势识别；

4)根据软件功能不同选择不同的手势来控制软件；

5)关闭系统；

在所述步骤3)中的手势识别的方法，采用的手势识别方法是基于形状空间理论的方法，具体描述如下：

(6-1)获得前景人体的图像：

用户把手放置在人机交互系统的工作范围区，通过高速照相机(3)获取包含手的视频图像；通过调整放置在高速照相机(3)前面的偏振片(4)旋转角度，去除显示屏(2)发出的光，获得前景人体的图像；

(6-2)获得手部的形状：

转化人体的图像的颜色，从RGB格式转化成HSV格式，可增大皮肤颜色和其它颜色的区别，从而提取出包含皮肤的人体信息，这些人体信息信息包含了手的图像信息，利用高斯去噪方法和数学形态学方法去除部分噪音，保留手图像中的正确信息；

(6-3)转换包含手信息的视频图像为二值图像；

(6-4)提取包含手信息的二值图像中的手部外轮廓：

在包含手信息的二值图像中物体包含内轮廓和外轮廓，这里只提取外轮廓而消除内轮廓；计算每个外轮廓的面积，如果其面积过小，其轮廓将被当做噪音而被删除，这样整个包含手信息的二值图像中保留了手部外轮廓；

(6-5)提取手掌中心点：

用户的手部轮廓包含部分胳膊轮廓信息，会影响手势的识别；由于所有形状中心线上点到轮廓的最短距离中，手掌中心点到轮廓的最短距离是最长的，利用此性质可找到手掌中心点；获得手掌中心点公式如下：

p手部形状内部任意点，p_s是手部外轮廓上的点，||p,p_s||表示p和p_s之间的欧几里得距离；通过这个公式可得到手掌的中心点p_c；

(6-6)提取手掌外轮廓：

手掌中心点到手部外轮廓的最短距离公式如下：

d_s＝||p_c-p_s||， (2)

p_c是由公式(1)计算得到的手掌中心点，p_s是手部外轮廓上的点，d_s是手掌中心点到手部外轮廓的最短距离；以此最短距离的二倍长度作为半径，手掌中心点作为圆心，画圆来分割手部形状，可以切除掉手臂部分的形状；一些时候，手指的部分形状也被切除掉了；因为手臂的形状在工作区一直延伸到工作区外，因此圆圈外没有延伸到工作区外的形状作为手指形状，从而恢复手指形状而获得完整的手掌形状；如果圆圈外所有连接形状没有延伸到工作区外，则利用圆圈外形状面积来确定其是否是手掌一部分，公式如下：

其中，S_i是连接圆内手形状的圆圈外形状面积，S_c是圆面积，ζ是阈值，设定满足(3)式的i形状可确认为手掌的一部分；

(6-7)提取手掌轮廓特征点：

以手掌和手臂两个切割点中的一个点为起始特征点，另一个为终止特征点，从起始特征点开始，沿着轮廓线到终止特征点，等弧长取N个点，从终止特征点到起始特征点，反方向等弧长取M个点，轮廓线上的特征点一共是N+M+2；

(6-8)获取数据库中的手掌轮廓特征点：

步骤(6-2)到(6-7)来处理数据库中的手图像，获得数据库手掌轮廓的特征点；如果数据库中的手部图像是已经经过了(6-2)到(6-6)步骤后的手掌外轮廓图像，那么每次运行系统只要根据提取轮廓线上的特征点个数要求而采用(6-7)步骤即可；

(6-9)利用形状空间理论方法识别手势：

通过一个形状在不同位置、旋转方向、不同尺度缩放所形成的多个新形状，在形状空间中都可以用一个点来表示，在利用形状空间理论进行手势识别前，需要把手掌轮廓特征点投影到形状空间中；两个不同的形状相似度，可以通过形状空间中的Procrustean距离来表示，在实数空间中，Procrustean距离公式如下：

d_p[O(τ₁),O(τ₂)]＝inf[cos^-1(＜x,y＞):x∈O(τ₁),y∈O(τ₂)]， (4)

其中，τ₁和τ₂分别是两个需要比较相似度的手掌外轮廓特征点集；τ₁和τ₂作为两个向量投影到超球中，此超球记为Pre-形状空间；O(τ₁)和O(τ₂)分别是τ₁和τ₂在Pre-形状空间中的大圆；＜x,y＞是x和y之间的内积；

如果是复数空间，则Procrustean距离公式如下：

其中，τ_1j和τ_2j分别是τ₁和τ₂的第j个复数坐标；τ^*是τ的共轭复数；

通过公式(4)和(5)，计算数据库中的每个标准手和观察手的相似度，如果他们的距离满足以下公式：

d_p[O(τ₁),O(τ₂)]≤ξ, (6)

其中，ξ是标准手和观察手相似度比较的阈值，设定ξ＝0.4；

在满足公式(6)的标准手中，和观察手之间Procrustean距离最短的标准手，作为观察手的识别手型；

如果遍历所有的标准手，都没有识别出观察手的手型来，那么，要通知用户识别失败，需要用户调整手的姿势；此外，通过这一步骤，可消除视频中人脸的形状。