[发明专利]一种用于人机交互的电子设备

说明书

技术领域

本发明涉及计算机技术，尤其涉及一种用于人机交互的电子设备。

背景技术

随着移动计算设备从笔记本电脑到手机、平板电脑的演化，移动计算设备的操控方式也经历了从键盘、鼠标到手机按键、手写板，再到触摸屏、虚拟键盘的进化，可以看到，移动设备的操控方式是朝着越来越直观、简便，并且符合人的自然习惯的方向进化的。

目前在移动计算设备上广泛使用的基于触摸屏的操控方式，技术上是将一块透明的触摸感应屏和显示屏贴合在一起，触摸感应屏实质上是一个定位装置，能够捕捉到屏幕上的触摸动作并获取其位置，同时结合时间轴信息，将动作识别其为点触、长触、滑动等动作之一。进而将位置和动作信息作为指令传递给移动计算设备，移动计算设备基于该指令做出相应的操作反应。由于触摸感应屏与显示屏是叠加在一起的，因此带给使用者“所点即所想”的使用感受，相比鼠标、触控板等定位设备需要通过光标反馈位置的输入方式，屏幕触控方式带来更好的使用体验。

屏幕触控方式相比键盘加鼠标的方式，更加符合人的直观反应、更容易学习，但是屏幕触控方式毕竟只捕捉到了人体手指的动作，在一些需要更多使用者本体信息输入的场合，比如运动游戏、模拟训练、复杂操控、远距离操控等，屏幕触控方式就显示出其捕获人体信息过于单一的局限性了。从人机交互的角度，更多的使用者信息的获取，将能够传达更丰富、更精准的使用者操作意图，因此必然能够带来更便利的操控方法和更好的使用体验。然而，目前的人机交互技术中的手势识别处理所采用的算法较为复杂、耗费时间且识别精度低。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于此，本发明提供了一种用于人机交互的电子设备，以至少解决现有的人机交互技术中的手势识别处理所采用的算法较为复杂、耗费时间且识别精度低的问题。

根据本发明的一个方面，提供了一种用于人机交互的电子设备，该电子设备包括：3D摄像头接口单元，用于连接外部的3D摄像头，以接收3D摄像头采集的含有深度信息的使用者手部的待测图像序列；轮廓检测单元，用于根据图像深度信息和图像颜色信息，在待测图像序列的每帧图像中检测出使用者的手部轮廓；特征点序列确定单元，用于针对使用者的每只手，利用预设的手部结构模板，在待测图像序列的每帧图像中确定该只手的待测特征点序列；动作识别单元，用于针对使用者的每只手，在多个预设特征点序列中确定该只手的待测特征点序列的匹配序列，以根据匹配序列确定该只手的动作名称和位置；手势识别单元，用于在预设手势表中选择与使用者双手的动作名称和位置相匹配的手势，作为已识别手势；指令确定单元，用于根据预设操作指令表，确定与已识别手势对应的操作指令；执行单元，用于对与确定的操作指令相关的设备进行与该操作指令对应的操作。

进一步地，特征点序列确定单元包括：模板存储子单元，用于存储预设的手部结构模板；模板匹配子单元，用于针对使用者的每只手，利用预设的手部结构模板，在待测图像序列的每帧图像的手部轮廓中确定该只手的预定数目个特征点；序列生成子单元，用于针对使用者的每只手，利用该只手在待测图像序列的各帧图像中对应的预定数目个特征点，获得该只手的待测特征点序列。

进一步地，轮廓检测单元用于：针对待测图像序列中的每帧图像结合颜色信息删除该帧图像中的噪声点及非肤色区域，利用边缘检测算子E(·)对删除噪声点和非肤色区域后所得到的图像进行边缘检测，得到边缘图像边缘图像即为仅包含使用者手部轮廓的图像。

进一步地，模板匹配子单元包括：定位基点确定模块，其用于针对待测图像序列的每帧图像，根据该图像中的轮廓线的曲率找到该轮廓线中的指尖点和指根关节点，以将指尖点作为定位基点；缩放基准确定模块，其用于针对定位基点确定模块处理后的每帧图像，基于该帧图像中已找到的定位基点，匹配每个单指的指根关节点，得到各单指的长度来作为尺度缩放的基准；缩放及形变模块，其用于针对缩放基准确定模块处理后的每帧图像，基于已找到的指尖点和指根关节点的位置以及各单指的长度来对相应的手部结构模板进行缩放和形变，通过匹配得到每只手的各指关节特征点和手腕中点特征点；其中，模板存储子单元存储的手部结构模板包括左手结构模板和右手结构模板，左手结构模板和右手结构模板各自包括：各手指的指尖特征点、各指关节特征点、各指根关节特征点、手腕中点特征点以及各特征点之间的拓扑关系。