[发明专利]头盔式虚拟现实环境中参与者实际手的可视化方法和系统

说明书

技术领域

本发明涉及一种头盔式虚拟现实系统中的参与者实际手可视化方法和系统，该方法通过在头盔显示器中加装摄像机，综合运用视频图像处理技术，虚拟现实图形技术，实现实时分割手图像并融入到虚拟环境中，可为用户提供具有逼真的、立体的虚拟手可视化图像，满足人机交互要求。

背景技术

基于头盔显示器的封闭式虚拟现实系统中，虚拟手的可视化是保证用户沉浸感的重要因素。国外实验表明，在虚拟环境中新手用户最关注的问题是：“我的手在哪？”[1]。可视化效果的好坏也将直接影响到用户的视觉真实感。现有的虚拟手可视化方法均采用基于三维几何模型建模和绘制(Graphics-Based Modeling and Rendering——GBMR)的方式，这种方式对硬件的计算能力和图形加速性能以及建模人员都有很高的要求，其建模方式造成所构建的虚拟手可视化图像还存在以下问题：

1.真实手外形复杂，难以实现精确的几何建模，随着模型的逼真度的提高，多边形数量也将提高，系统负担加重，实时性也将降低。

2.难以实现与真手一致的纹理特性，视觉效果不佳。

3.未考虑人手差异性，通用的三维手模型表示不同人的手，视觉效果不佳。

4.由于数据手套等虚拟外设的误差以及硬件延时，真实手与虚拟手的运动不可能完全匹配，而且硬件成本也非常高。

5.数据手套等虚拟现实外设存在异物感和束缚感等。

为克服基于三维几何模型建模和绘制存在的问题，近年来基于图象的建模和绘制(Image-Based Modeling and Rendering——IBMR)的建模技术得到广泛发展[2]，比如基于全景图的三维漫游系统。而增强虚境技术是在基于GBMR框架下利用基于图像的建模与绘制方法描述复杂对象，通过虚实融合图像用以解决虚拟现实研究中逼真绘制与实时显示间的矛盾。比如国外的虚拟视频会议系统，虚拟商场系统等采用了此项技术，将视频或者图像对象融入虚拟环境提升了虚拟现实系统中的视觉真实感，但其融入的对象为未经实时处理的原始视频或者图像素材[3]。

基于多个固定摄像机的增强现实飞行模拟器(申请号：200710303603.9)中头盔显示器显示的也是虚实融合后图像，但其系统中是通过多个固定在头部上方的摄像机用于拍摄真实场景，而且拍摄的图像直接融入虚拟环境，因此与本发明摄像机的布置方案和技术方案均不相同。

本发明中采用一种特殊虚实融合方式，也就是将虚拟现实系统参与者的真实手作为虚拟环境中虚拟手的代理实现可视化。首先在头盔显示器眼点附近位置布置两个摄像机，然后对摄像机视频图像进行手图像的实时分割，最后分割后的手图像融入虚拟环境后在头盔显示器中显示给用户，实现参与者实际手在头盔式虚拟现实系统中的可视化。

[1]Andrei Sherstyuk，Dale Vincent，Caroline Jay.Poster：Sliding Viewport for Head MountedDisplays in Interactive Environments[C].Piscataway，IEEE Symposium on 3D User Interfaces2008，3DUI.NJ，USA

[2]李自力.虚拟现实中基于图形与图象的混合建模技术[J].中国图象图形学报，2004，6(1)：96-101.

[3]郝爱民，何兵，赵沁平.虚拟现实中的增强虚镜技术[J].北京航空航天大学学报，2003，29(10)：909-913.

发明内容

技术问题：本发明的目的是克服现有基于三维建模与绘制的虚拟手可视化存在的缺点，为用户提供一种视觉效果更加逼真的虚拟手系统。本发明中将摄像机采集的视频进行手图像分割和提取并融入虚拟环境，给用户提供手的可视化图像。因此用户所见虚拟手就是用户真实手，手的运动特性和视觉特性(比如柔体变形等)与真实手完全一致，并且双摄像机设置可为用户提供虚拟手的立体图像，与传统基于数据手套等虚拟外设驱动的三维手模型可视化图像相比用户沉浸感和视觉逼真度都明显增强。

技术方案：本发明为实现上述目的，采用如下技术方案：

本发明所述参与者手可视化方法，包括如下步骤：

第一步，初始化，实现虚拟配准：标定真实摄像机，得到真实摄像机参数包括真实摄像机空间位置、水平视场角、垂直视场角，将虚拟环境中视点处的虚拟摄像机的参数保持与真实摄像机参数一致；