[发明专利]用于移动设备的虚实融合键盘系统和方法

权利要求书

1.用于移动设备的虚实融合键盘系统，其特征在于，包括实体键盘、移动设备以及融合显示模块：

所述移动设备具有视频捕捉模块和图像转化模块；所述移动设备固定在所述实体键盘的上方设定位置处，移动设备与所述实体键盘的位置关系为：所述实体键盘处于所述视频捕捉模块的视场范围内；所述图像转化模块，用于将所述视频捕捉模块所捕获的实体键盘的实时场景图像转换为以用户人眼为视角的键盘虚拟图像；

所述融合显示模块，用于将键盘虚拟图像与虚拟环境进行虚实融合显示；

所述移动设备通过连接架固定在所述实体键盘的上方设定位置处；所述连接架包括固定连接的夹持部和支撑部，所述夹持部用于夹持在所述实体键盘边缘，所述支撑部与所述夹持部垂直固定，支撑部上设置设备槽用于固定所述移动设备；

所述移动设备与所述实体键盘的相对位置不变；

所述视频捕捉模块所捕获的实体键盘的实时场景图像包含所述实体键盘的图像信息，以用户操作键盘时的手部图像信息；

所述图像转化模块，具体为：所述图像转化模块为训练好的图像转化神经网络模型；所述图像转化神经网络模型的训练方式为：构建神经网络模型；通过所述移动设备上的视频捕捉模块获取移动设备视角的键盘场景图像作为训练样本图像；获取用户人眼视角的键盘场景图像作为结果图像；以所述训练样 本图像为输入，以所述结果图像为输出，对神经网络模型进行训练，训练好的神经网络模型即为图像转化神经网络模型；网络训练好后，用户使用时，无需再次训练；系统将移动设备拍摄到的实时图像输入训练好的神经网络中，便可以转化为方便用户观看的键盘输入图像。

2.如权利要求1所述的系统，其特征在于，所述融合显示模块为头戴式虚拟现实设备。

3.如权利要求2所述的系统，其特征在于，所述融合显示 模块，具体为：

利用虚实融合的标定方法将所述键盘虚拟图像在虚拟环境中作为动态纹理，直接映射到一个虚拟键盘上。

4.用于移动设备的虚实融合键盘方法，其特征在于，包括如下步骤：

以移动设备所处位置为视角，获取实体键盘的实时场景图像；

将所述实体键盘的实时场景图像转换为以用户人眼为视角的键盘虚拟图像；

将所述键盘虚拟图像与虚拟环境进行虚实融合显示。

5.如权利要求4所述的方法，其特征在于，所述将所述实体键盘的实时场景图像转换为以用户人眼为视角的键盘虚拟图像，具体为：

构建神经网络模型；

通过所述移动设备上的视频捕捉模块获取移动设备视角的键盘场景图像作为训练样本图像；

获取用户人眼视角的键盘场景图像作为结果图像；

以所述训练样 本图像为输入，以所述结果图像为输出，对神经网络模型进行训练，训练好的神经网络模型即为图像转化神经网络模型；

将所述实体键盘的实时场景图像输入至所述图像转化神经网络模型，获得所述以用户人眼为视角的键盘虚拟图像。