[发明专利]一种与现实场景融合的虚拟目标投射方法和系统

说明书

本发明实施例提供了一种与现实场景融合的虚拟目标投射方法和系统，该方法和系统应用于增强现实系统，具体为计算相机相对于平面上一个marker板的相对位姿；提取现实场景中的平面和平面边界；根据相对位姿、平面和平面边界将虚拟目标渲染到现实场景的图像上。通过对相机位姿的计算，并进一步通过对平面的提取，确定了平面相对于相机的精确位置，从而可以使虚拟物体精确地放置在相应平面上。

技术领域

本发明涉及增强现实技术领域，特别是涉及一种与现实场景融合的虚拟目标投射方法和系统。

背景技术

增强现实技术(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并叠加相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。目前业界领先的苹果ARKit和Google ARCore都已经实现了较准确的运动追踪(Motion tracking)，它基于手机的摄像头来估算手机的相对位置，使用时可以将虚拟对象固定在一个位置，并围绕它移动。

但是即使这两者在环境识别(Environmental understanding)方面做得也并不够理想。以ARCore为例，其只能估计出一个大致的平面，然后在平面上绘制虚拟物体，如图1所示。本发明的申请人在实施上述技术方案的时候发现，如果想要达到虚拟物体与现实世界的完美融合，这样的效果是不够的，必须要检测到平面(比如桌面、地板或天花板)，从而使系统可以将虚拟物体精准的“放置”在相应平面上。

发明内容

有鉴于此，本发明提供了一种与现实场景融合的虚拟目标投射方法及系统，以解决增强现实技术无法将虚拟物体精确放置在相应平面的问题。

为了解决上述问题，本发明公开了一种与现实场景融合的虚拟目标投射方法，应用于增强现实系统，可选的，所述虚拟目标交互方法包括步骤：

计算相机相对于平面上一个marker板的相对位姿；

提取现实场景中的平面和所述平面的平面边界；

根据所述相对位姿、所述平面和所述平面边界将虚拟目标渲染到所述现实场景的图像上。

可选的，所述计算相机相对于平面上一个marker板的相对位姿，包括：

获取所述相机摄取的所述marker板的图像；

利用所述图像检测所述marker板的四个角点的坐标；

根据所述四个角点的坐标计算所述相对位姿；

可选的，所述根据所述四个角点的坐标计算所述相对位姿，包括：

根据所述四个角点的坐标求解PNP问题，得到所述相对位姿。

可选的，所述提取现实场景的平面和平面边界，包括：

基于深度学习的语义分割方法提取所述现实场景的所述平面和所述平面边界；

或者，提取现实场景中marker板所在的所述平面，并分割出所述平面边界。

相应的，为了保证上述方法的实施，本发明还提供了一种与现实场景融合的虚拟目标投射系统，应用于增强现实系统，所述虚拟目标交互系统包括：

位姿计算模块，用于计算相机相对于平面上一个marker板的相对位姿；

平面提取模块，用于提取现实场景中的平面和所述平面的平面边界；

图像渲染模块，用于根据所述相对位姿、所述平面和所述平面边界将虚拟目标渲染到所述现实场景的图像上。

可选的，所述位姿计算模块包括：

图像获取单元，用于获取所述相机摄取的所述marker板的图像；