[发明专利]一种能够自动纠偏的AR沙盘校准模型计算方法

说明书

本发明公开了一种能够自动纠偏的AR沙盘校准模型计算方法。首先处理获得AR沙盘的基准平面模型，然后在沙盘通过投影仪投影标准棋盘格图案，并通过采集投影图像进行计算处理得到AR沙盘的投影映射模型，投影映射模型中的深度值采用基准平面模型进行修正，获得校准模型。本发明方法在AR沙盘虚拟场景的实时渲染过程中，校准得到的基准平面模型能够自动修正RGB‑D传感器在安装过程中不可避免产生的偏差，投影映射模型能够将RGB‑D传感器采集到的原始深度数据正确映射到投影仪的屏幕空间，从而保证AR沙盘互动体验的沉浸感和极佳的用户体验。

技术领域

本发明涉及一种AR(Augment Reality，增强现实)沙盘投影映射方法，尤其涉及一种能够自动纠偏的AR沙盘校准模型计算方法。

背景技术

增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机的位置及角度，从而在真实影像上叠加合理的图像、视频或3D模型的技术，这种技术的目标是在屏幕上把虚拟世界叠加在现实世界中并进行互动。AR技术能够通过为用户提供基于真实场景的虚拟影像，增强用户的现实世界体验，提供沉浸式的全新交互方式。AR沙盘是增强现实技术的一项重要落地应用，主要应用场景是早教中心或幼儿园的寓教于乐式的互动课程教学。

AR沙盘通过悬挂在沙盘上方的RGB-D传感器获取沙盘中沙子高低不平的高度信息，在计算机中进行三维重建后，将合理的虚拟影像通过投影仪投射到沙子上，并且在沙子高度发生变化时能够实时地改变投影内容，即具备实时交互的能力，能够达到增强现实式的沉浸体验。AR沙盘的核心技术难点在于正确的投影映射，即根据沙子的高度变化合理地投影出正确的图像。达到正确的实时投影映射需要准确的校准模型。现有的AR沙盘校准模型计算方法要求RGB-D传感器必须严格垂直向下“观察”沙盘，对传感器的安装精度要求很高，一旦传感器装歪就无法得到正确的校准模型，也就无法实现正确的投影映射，导致投影图像和沙子之间形成错位，难以达到增强现实式的沉浸体验，无法实现良好的寓教于乐的教学效果。

发明内容

针对现有AR沙盘校准模型计算方法中存在的问题，本发明的目的在于提供一种能够自动纠偏的AR沙盘校准模型计算方法，可用于RGB-D传感器安装精度不高时AR沙盘校准模型的准确计算，得到的校准模型能够自动修正RGB-D传感器在安装过程中不可避免产生的偏差。

校准完成后得到的基准平面模型和投影映射模型用于AR沙盘的实时互动体验，两种模型协同工作构成了校准模型，共同保证AR沙盘互动体验的高沉浸感和极佳的用户体验。

本发明方法采用的技术方案是主要分为以下几步，通过以下特定的交互操作和计算获得：

首先处理获得AR沙盘的基准平面模型，然后在沙盘通过投影仪投影标准棋盘格图案，并通过采集投影图像进行计算处理得到AR沙盘的投影映射模型，投影映射模型中的深度值采用基准平面模型进行修正，获得校准模型。

所述的基准平面模型：将AR沙盘的沙子铺平，在RGB-D传感器采集得到的RGB图像中标记出沙盘区域的边界，同时利用RGB-D传感器对沙盘区域的深度数据进行随机采样，拟合计算后得到基准平面模型。

所述的基准平面模型具体采用以下方式进行处理获得：

1)将AR沙盘的沙子铺平，在RGB-D传感器采集得到的RGB图像中标记出沙盘区域的边界，记录沙盘区域的左上角和右下角在RGB图像中的像素坐标值；

2)构建以下公式表示在RGB-D传感器的深度相机空间中的基准平面模型：

ax+by+z+d＝0

其中，a、b和d是基准平面模型的第一、第二、第三参数，(x,y,z)是沙盘区域中的点在深度相机空间中的三维坐标，沙盘区域中的点是指沙子铺平后所在的表面上的点，x、y为沙盘区域中的点在深度图像上的平面坐标值，z为沙盘区域中的点在深度图像上的深度值，令其系数为1以简化计算过程；