[发明专利]混合现实系统、程序、移动终端装置和方法

说明书

本发明提供使用户能在诸如室外空间等的相对宽阔的空间中体验与场所相对应的MR的混合现实系统。本发明是用于在显示器上显示混合现实图像的混合现实系统，混合现实系统包括具有向存在于规定真实空间中的用户显示虚拟物体的显示器和拍摄真实空间的拍摄装置的移动终端装置。混合现实系统包括布置在规定真实空间中的多个特征点集合。移动终端装置识别拍摄装置拍摄的各特征点集合，基于各特征点集合的布置位置姿势信息和移动终端装置相对于各特征点集合的相对位置姿势信息，确定与真实空间中拍摄装置的位置和拍摄方向相对应的、虚拟空间中的虚拟照相机的视点位置，并且生成根据视点位置的虚拟物体的图像被叠加在真实空间的拍摄图像上的混合现实图像。

技术领域

本发明涉及一种混合现实系统等，特别涉及使得存在于规定真实空间中的用户能够体验混合现实的混合现实系统等。

背景技术

近来，已知用于实时无缝地将真实世界与虚拟世界融合的混合现实(MR)技术。MR技术使得正在体验MR技术的用户能够具有如同虚拟物体存在于该场所那样的体验。关于MR技术，已经开发了用于以高精确度执行MR本身使得在不对用户造成不适的情况下显示虚拟空间中的物体的技术。例如，专利文献1公开了一种能够实时识别混合现实环境中的真实空间环境的系统。

{引文列表}

{专利文献}

{专利文献1}

日本特开2017-227975

{非专利文献1}

Francisco J.Romero-Ramirez，Rafael Munoz-Salinas，Rafael Medina-Carnicer，“Speeded up detection of squared fiducial markers”，Image and VisionComputing，第76卷，2018年，第38-47页，ISSN 0262-8856，DOI：10.1016/j.imavis.2018.05.004。

{非专利文献2}

David G Lowe，“Distinctive Image Features from Scale-InvariantKeypoints”，International Journal of Computer Vision，第50卷，第2期，2004年，第91-110页。

{非专利文献3}

Ethan Rublee，Vincent Rabaud，Kurt Konolige和Gary Bradski，“ORB:andefficient alternative to SIFT or SURF”，IEEE International Conference onComputer Vision，2011。

{非专利文献4}

Genshiro Kitagawa，“Monte Carlo Filter and Smoother for Non-GaussianNonlinear State Space Models”，Journal of Computational and GraphicalStatistics，第5卷，第1期(1996年3月)，第1-25页。

{非专利文献5}