[发明专利]一种结合物理光照模型的AR绘画方法

说明书

本发明公开了一种结合物理光照模型的AR绘画方法，包括以下步骤：S1，ARkit捕捉当前AR场景，并通过OpenGL渲染到纹理，并作为背景纹理；S2，使用Metal+Scenekit搭建Scene场景；S3，记录画笔2D屏幕轨迹坐标，获取当前相机V矩阵和P矩阵，依次将2D屏幕轨迹坐标转为3D空间坐标轨迹；S4，采用插值和曲线平滑算法生成均匀而平滑的3D空间轨迹坐标；S5，根据3D空间轨迹坐标，计算顶点坐标、法线、切线、纹理坐标、RGB等数据，并根据椭圆计算公式推导，构造具有形变效果的3D几何图形节点，将节点添加到Scene场景之中；S6，采用PBR物理光照模型计算光照效果，多重采样消除锯齿，通过Metal渲染Scene场景，将3D图形渲染到OpenGL和Metal的共享纹理；S7，背景纹理与共享纹理融合，OpenGL渲染最终图案到屏幕。

技术领域

本发明属于计算机技术领域，具体涉及一种结合物理光照模型的AR绘画方法。

背景技术

目前，大多数空间绘画技术都基于VR(虚拟现实)空间画笔完成，需要通过VR设备和手柄实现在虚拟场景中进行艺术创作，如果没有眼镜现实设备作为载体，则无法体验3D立体场景绘画。在移动互联时代，电子移动终端和AR(增强现实技术)快速发展，基于移动终端的增强现实应用越来越受大众欢迎。现今人机交互、计算机绘图还处于一个应用多种设备辅助完成的阶段，其操作较复杂使之失去创作绘画的乐趣，因此将AR技术与图形绘制算法相结合应用到资源和计算能力有限的手持移动终端随之成为研究热点。

因此，如何将增强现实技术应用于移动端实现现实场景绘画，增强绘画作品的真实感和立体感是亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种结合物理光照模型的AR绘画方法。

为解决上述技术问题，本发明采用如下的技术方案：

一种结合物理光照模型的AR绘画方法，包括以下步骤：

步骤1，利用移动端的摄像机拍摄画面，ARkit捕捉当前AR场景，通过会话ARSession管理设备相机和ARKit追踪设备与现实世界之间的相对位置和运动数据实时的捕获所述AR场景，将所述AR场景的YUV颜色空间转为RGB颜色空间，并通过OpenGL渲染到纹理作为背景纹理；

步骤2，使用Metal+Scenekit搭建3D Scene场景，3D场景由一个一个节点组成，每一个节点管理着场景中的每个物体，所述Scenekit为3D图形开发框架；

步骤3，根据所述3D场景同时计算所述摄像机的V观察矩阵和P投影矩阵，用户选择任意AR画笔，进行绘图操作，所述移动端获取所述绘图操作的2D坐标轨迹，通过将所述3D场景的2D屏幕坐标转为3D空间坐标，从而对应得到所述2D坐标轨迹的3D空间运动轨迹坐标；

步骤4，采用线性插值算法和曲线平滑算法对所述3D空间运动轨迹坐标进行圆滑处理，形成均匀且圆滑的3D坐标轨迹；

步骤5，根据3D空间轨迹坐标，计算包括顶点坐标、法线、切线、纹理坐标、RGB的数据，并根据椭圆计算公式推导，构造3D几何图形节点，将节点添加到Scene场景之中；

步骤6，采用Scenekit中PBR物理光照模型计算光照效果，多重采样消除锯齿，通过Metal渲染3D场景，将3D图形渲染到OpenGL和Metal的共享纹理；

步骤7，背景纹理与共享纹理融合，由OpenGL渲染最终图案到屏幕，记录所述绘图操作生成过程，并生成视频文件，选择播放类型，点击开，播放绘画过程，点击关，所述人机交互界面显示绘画结束时的静止状态。

优选地，所述步骤3中通过将所述3D场景的2D屏幕坐标转为3D空间坐标转换的数学公式为：

pt3D^near＝pt2D^screenNear*inv(V*P*M)  (1)