[发明专利]用于在渲染图像时使用的可重照纹理

说明书

本发明的各实施方式总体上涉及用于在渲染图像时使用的可重照纹理。具体地，可重照自由视点渲染允许基于场景的来自多个相机视点的多个视图来渲染和重照场景的新视图。可以将初始纹理分段成素材，并且对于每个素材确定初始粗略色彩估计。根据场景的经捕获的视图估计场景几何形状，并且使用场景几何形状相对于彼此对初始粗略色彩估计定标，使得不同素材看起来以相似的辐照度被照亮。以这一方式，估计描述场景照度的全局辐照度函数。这提供用于色彩估计和底纹估计提取的起始点。底纹估计可以用于使表面法线与全局辐照度函数拟合。存储表面法线的集合和色彩估计用于后续使用，以允许对场景的重照。

背景技术

图像可以表示场景的如从相机的视点捕获的视图。在一些情况下，可以存在多于一个捕获场景的不同视图的相机。然而，场景会存在与任何相机视点都不对应的一些视点。图像可以是视频序列帧。诸如自由视点视频渲染(FVVR)之类的技术允许基于场景的来自多个相机视点的一组多个视图来生成场景的新视图。相机优选地被彼此校准和同步，以使得能够正确地组合场景的视图。

基于场景的不同视图，可以例如使用多视图立体(MVS)来构造场景几何形状的模型，并且可以形成可以适用于该模型的纹理。可以通过使用原始图像以投影方式对场景几何形状进行纹理化并且混合经投影的图像来形成纹理。然后，可以使用具有纹理的模型来从渲染视点渲染场景，渲染视点可以与相机视点之一相同或者不同。除了从渲染视点重新创建“真实世界”场景以外，还可以使真实世界场景的内容与计算机生成的内容混合。

存在大量可能在生成场景的新视点时需要考虑的问题。例如，对场景的重照可能是困难的。从通过相机捕获的图像(例如视频序列帧)中提取的纹理具有隐含的真实世界的光照信息，使得光照伪像存在(即“被预烧”)于纹理中。

一种解决如何针对新视点而对纹理进行重照这一问题的方式是控制在相机捕获场景的不同视图时对场景的光照。例如，可以在初始视频捕获中使用漫射光照，以避免产生过量的底纹(shaded)区域和镜面反射，过量的底纹区域和镜面反射会破坏使用经提取的纹理渲染的场景的似真性。可以自动解决光照变化的影响，但是这可能需要有源光照布置，在有源光照布置中，在各种经校准的光照条件下捕获场景，以便推断纹理的素材(material)属性。然而，使用任意光照布置对场景进行重照是相当有挑战性的。类似的挑战适用于使用任意光照布置来对纹理进行重照，而不管如何根据场景的经捕获的图像来形成纹理，例如仅在使用一个相机来从单个相机视点捕获场景的图像时和/或在渲染视点与相机视点之一相同时。

发明内容

提供本“发明内容”以介绍简化形式的概念的选择，以下在“具体实施方式”中进一步描述这些概念。本“发明内容”并非意在标识要求保护的主题的关键特征或者必要特征，也并非意在用于限制要求保护的主题的范围。

提供了一种确定可重照(relightable)纹理的色彩分量和表面法线的集合以用于在任意光照条件下从渲染视点来渲染图像时使用的方法，其中场景的来自相应的至少一个相机视点的至少一个视图表示图像，该方法包括：分析场景的至少一个视图以估计场景几何形状并且将初始纹理分段成多个素材，初始纹理可分离成色彩估计(color estimate)和对应的底纹估计(shading estimate)；针对素材中的每个素材确定初始粗略色彩估计；确定一个或多个比例因子，用于对初始粗略色彩估计中的相应的一个或多个初始粗略色彩估计定标，比例因子基于在与素材的初始粗略色彩估计的经定标的版本对应的底纹估计的基础上针对素材确定的辐照度估计之间的差异被确定；使用所确定的比例因子来针对场景确定全局辐照度函数；使用全局辐照度函数和初始纹理来确定另外的色彩估计以及对应的另外的底纹估计，其中另外的色彩估计表示可重照纹理的色彩分量；以及使用全局辐照度函数和另外的底纹估计来确定表面法线的集合。