[发明专利]一种虚拟键盘操作装置、系统及方法

权利要求书

1.一种人机交互式虚拟触控装置，包括显示控制单元与显示单元，其特征在于，所述装置包括：

视图识别单元，用于对摄像头采集的用户手指的图像数据进行手部识别，以确定手指端点在图像中的位置；

水平面二维坐标建立单元，用于根据所述视图识别单元识别出的手指端点位置在图像中的位置与摄像头的像素解析度，将手指端点像素位置转换为XZ坐标面的二维坐标值；

垂直面二维坐标建立单元，用于根据所述视图识别单元识别出的手指端点位置在图像中的位置与摄像头的像素解析度，将手指端点像素位置转换为YZ坐标面的二维坐标值；

三维坐标计算单元，用于根据所述水平面二维坐标建立单元和所述垂直面二维坐标建立单元分别确定的手指端点像素位置在XZ坐标面和YZ坐标面的二维坐标值计算手指端点在XYZ三维坐标系中的坐标值；所述三维坐标系的Z坐标值为XZ坐标面的坐标Z值和YZ坐标面的坐标Z值的平均值，三维坐标系的X坐标值为XZ坐标面的X坐标值，三维坐标系的Y坐标值为YZ坐标面的Y坐标值；

动作判断单元，用于根据所述三维坐标计算单元计算的手指端点的三维坐标值与虚拟键盘每个键位对应的位置区域，判断用户对虚拟键盘键位的操作；还用于在手部位置初始化阶段时根据手指端点的三维坐标值中垂直方向的最低端点作为点击判定平面Y轴值，把手指端点的三维坐标值映射到虚拟键盘每个按键区域上，并根据每个手指端点落在对应的按键区域确定被选中按键，从而确定键位信息；以及

图形绘制单元，用于根据所述动作判断单元的判断结果绘制出模拟用户手指在虚拟键盘对应键位的操作图像，并调用所述显示控制单元控制所述显示单元显示所述操作图像。

2.如权利要求1所述的人机交互式虚拟触控装置，其特征在于，还包括环境亮度传感单元，用于感应环境的亮度值；

所述视图识别单元包括：

纵向视图识别子单元，用于根据所述环境亮度传感单元侦测到的环境亮度值判断使用普通摄像头还是红外摄像头，并当确定使用的摄像头后对纵向视图识别子单元采集的图像数据进行手部识别，以确定在XZ坐标面的手指端点像素在图像中的位置；以及

横向视图识别子单元，用于根据所述环境亮度传感单元侦测到的环境亮度值判断使用普通摄像头还是红外摄像头，并当确定使用的摄像头后对横向视图识别子单元采集的图像数据进行手部识别，以确定在YZ坐标面的手指端点像素在图像中的位置。

3.如权利要求1所述的人机交互式虚拟触控装置，其特征在于，所述水平面二维坐标建立单元将手指端点像素位置转换为XZ坐标面的二维坐标值，以及所述垂直面二维坐标建立单元将手指端点像素位置转换为YZ坐标面的二维坐标值，具体为：将图像左下角像素点设置为二维坐标系的起始点0，根据图像解析度和转换为二维坐标后的坐标值范围计算出坐标值范围相对每个图像的行数和列数的比例。

4.如权利要求1所述的人机交互式虚拟触控装置，其特征在于，所述动作判断单元将手指端点的三维坐标值映射到虚拟键盘的按键区域上，具体为：虚拟键盘中每个按键在XZ平面上有对应键位的二维坐标区域范围，当确定手指端点的XZ坐标值落入所述坐标区域范围时判定用户的手指端点处于对应键位的上方。

5.如权利要求4所述的人机交互式虚拟触控装置，其特征在于，所述动作判断单元根据手指端点的三维坐标值判断点击动作，具体为：当选定点击判定平面Y轴值后，当手指端点三维坐标中的Y值低于所述点击判定平面Y轴值时，则判定所述手指端点穿越了所述点击判定平面，并结合手指端点落入的键位坐标区域范围判断用户最终进行点击操作的按键。

6.一种人机交互式虚拟触控系统，其特征在于，包括如权利要求1-5任意一项所述的人机交互式虚拟触控装置以及与所述装置通信连接的两个摄像设备。

7.如权利要求6所述的人机交互式虚拟触控系统，其特征在于，所述摄像设备包括第一摄像头以及第二摄像头，所述第一摄像头作为纵向摄像设备，所述第二摄像头作为横向摄像设备，第一摄像头与第二摄像头的摄像方向设置为互相垂直。

8.如权利要求7所述的人机交互式虚拟触控系统，其特征在于，所述第一摄像头为普通摄像头，所述第二摄像头为红外摄像头。