[发明专利]一种虚拟键盘操作装置、系统及方法

摘要

本发明提供一种虚拟键盘操作装置、系统及方法，该方法包括利用摄像头采集用户手指图像数据确定手指端点在图像中的位置，并结合摄像头的像素解析度将手指端点像素位置分别转换为XZ坐标面与YZ坐标面的二维坐标值。根据手指端点像素位置在XZ坐标面和YZ坐标面的二维坐标值计算手指端点在XYZ三维坐标系中的坐标值，并结合与虚拟键盘每个键位对应的位置区域判断用户对虚拟键盘键位的操作，根据判断结果绘制出模拟用户手指在虚拟键盘对应键位的操作图像，显示所述绘制的图像供用户观看。利用本发明，方便用户随时随地通过虚拟键盘进行自如的人机交互操作。

主权项

一种人机交互式虚拟触控装置，包括显示控制单元与显示单元，其特征在于，所述装置包括：视图识别单元，用于对摄像头采集的用户手指的图像数据进行手部识别，以确定手指端点在图像中的位置；水平面二维坐标建立单元，用于根据所述视图识别单元识别出的手指端点位置在图像中的位置与摄像头的像素解析度，将手指端点像素位置转换为XZ坐标面的二维坐标值；垂直面二维坐标建立单元，用于根据所述视图识别单元识别出的手指端点位置在图像中的位置与摄像头的像素解析度，将手指端点像素位置转换为YZ坐标面的二维坐标值；三维坐标计算单元，用于根据所述水平面二维坐标建立单元和所述垂直面二维坐标建立单元分别确定的手指端点像素位置在XZ坐标面和YZ坐标面的二维坐标值计算手指端点在XYZ三维坐标系中的坐标值；所述三维坐标系的Z坐标值为XZ坐标面的坐标Z值和YZ坐标面的坐标Z值的平均值，三维坐标系的X坐标值为XZ坐标面的X坐标值，三维坐标系的Y坐标值为YZ坐标面的Y坐标值；动作判断单元，用于根据所述三维坐标计算单元计算的手指端点的三维坐标值与虚拟键盘每个键位对应的位置区域，判断用户对虚拟键盘键位的操作；还用于在手部位置初始化阶段时根据手指端点的三维坐标值中垂直方向的最低端点作为点击判定平面Y轴值，把手指端点的三维坐标值映射到虚拟键盘每个按键区域上，并根据每个手指端点落在对应的按键区域确定被选中按键，从而确定键位信息；以及图形绘制单元，用于根据所述动作判断单元的判断结果绘制出模拟用户手指在虚拟键盘对应键位的操作图像，并调用所述显示控制单元控制所述显示单元显示所述操作图像。