[发明专利]表面光场的采集方法、装置及电子设备

说明书

本发明实施例公开了一种表面光场的采集方法、装置及电子设备，所述方法包括：获取物体模型表面上每个面片网格在不同视角上的多张图像；对于每个面片网格，从面片网格的多张图像中获取一张图像作为目标图像，将面片网格中除所述目标图像之外的其余各图像与目标图像对齐，生成面片网格的图像集合；对每个图像集合中的各图像进行采样，使得每个图像集合中的各图像的像素相同，且视角间隔相等；对所有面片网格对应的采样后的图像集合进行分解和压缩，以获得物体模型的表面光场数据。本申请，在表面光场进行压缩之前，对采样图像进行对齐，进而消除不精确几何形状的影响，从而减少表面光场采样和处理对精确几何模型的依赖性。

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种表面光场的采集方法、装置及电子设备。

背景技术

光场渲染技术一般用于捕获、记录、压缩并存储目标物体周围所有光线(既所谓的光场)，并在渲染时，根据观察角度还原所有光线信息，从而精确还原目标物体在真实世界中的表观。因光场渲染技术避免了对目标物体的材质估计和对环境光照估计等多个较为困难的问题，光场可有效的重建真实世界物体的表观，并实现照片级真实感渲染，可在许多VR/AR应用中发挥重要作用。

表面光场是光场的一个分支，通过利用目标物体的几何信息进一步推进了传统的光场渲染技术，可在更大可视角度(360°)内无畸变记录光场。因此，表面光场被用于恢复一些具有更复杂外观和几何模型的物体。然而，表面光场依赖于一个精确的几何模型对光场进行采样和处理。而这限制了它的广泛使用，因为许多目标物体的几何表面都不容易使用常规精度的重建设备进行精确恢复。

发明内容

本发明实施例提供一种表面光场的采集方法、装置及电子设备。

第一方面，本发明实施例提供一种表面光场的采集方法，包括：

获取物体模型表面上每个面片网格在不同视角上的多张图像，其中所述物体模型为将物体的表面进行网格划分后形成的模型；

对于每个所述面片网格，从所述面片网格的多张图像中获取一张图像作为目标图像，将所述面片网格中除所述目标图像之外的其余各图像与所述目标图像对齐，生成所述面片网格的图像集合；

对每个所述图像集合中的各图像进行采样，使得每个所述图像集合中的各图像的像素相同，且视角间隔相等；

对所有面片网格对应的采样后的所述图像集合进行分解和压缩，确定所述物体模型的表面光场数据。

在第一方面的一种可能的实现方式中，所述对于每个所述面片网格，从所述面片网格的多张图像中获取一张图像作为目标图像，包括：

对于每个所述面片网格，将所述面片网格对应的各图像中漫射颜色值最大的图像作为所述面片网格的目标图像。

在第一方面的另一种可能的实现方式中，所述对于每个所述面片网格，从所述面片网格的多张图像中获取一张图像作为目标图像，包括：

确定所有面片网格对应的所有图像的能量之和；

将所述能量之和最小时每个面片网格对应的图像作为每个面片网格的目标图像。

在第一方面的另一种可能的实现方式中，所述确定各所述面片网格对应的各图像的能量之和，包括：

根据公式确定各所述面片网格的每张图像的能量总和E(P)；

其中，所述为面片网格f的第i张图像的颜色值，所述为所述对应的亮度值，所述为所述对应的样本质量，所述f’为所述面片网格f的相邻面片网格，所述为所述面片网格f’的第j张图像的颜色值，所述为所述面片网格f和所述面片网格f’共享边上的色差。

在第一方面的另一种可能的实现方式中，所述将所述面片网格中除所述目标图像之外的其余各图像与所述目标图像对齐，包括：