[发明专利]图像处理装置、照明处理装置及其方法

说明书

技术领域

本发明技术领域涉及从图像生成照明条件，并将所生成的照明条件应用于将要插入到图像的虚拟对象的图像处理。

背景技术

随着3D图形技术和相关硬件技术的发展，在3D游戏、3D电影、智能手机等多种应用领域正制作出用于真实地表现出对象的内容。作为真实地表现对象的技术，可采用渲染技术。渲染技术需要对几何图形(Geometry)、材质属性(Material Properties)、光线(Lighting)准确地建模。

发明内容

技术手段

根据本发明的一方面，照明处理装置包括：漫射提取单元，利用实际对象的彩色图像和深度图像提取应用于所述对象的漫射照明信息；漫射复原单元，利用所提取的所述漫射照明信息复原针对所述实际对象的漫射图像；误差图像分离单元，利用所复原的漫射图像和所述彩色图像生成镜面图像和阴影图像中的至少一个。

发明效果

即便不使用辅助装置也能够从拍摄实际对象获得的彩色图像和深度图像获取应用于相关对象的照明条件。

而且，当在图像中添加虚拟对象时，通过将从相关图像获取的照明条件应用到虚拟对象，从而可以得到更加真实的渲染效果。

附图说明

图1为示出根据一实施例的照明处理装置的方框图。

图2为示出根据另一实施例的照明处理装置的方框图。

图3为示出用于获得应用于实际对象的照明条件的照明处理装置的一实施例的方框图。

图4为示出从拍摄单元输出而使用为输入图像的彩色图像和深度图像的一示例的图。

图5为用于说明基于深度图像和深度图像的法线图的基函数建模方式的图。

图6为更具体地示出图3所示的漫射复原单元的方框图。

图7为用于说明通过图3的误差图像分离单元所实现的一系列过程的示例图。

图8为用于说明基于镜面图像提取第一指向性照明信息的方法的例示图。

图9和图10为用于说明基于阴影图像提取第二指向性照明信息的方法的示例图。

图11为用于说明根据一实施例的照明处理方法的流程图。

图12为用于更具体地说明图11的920步骤的流程图。

图13为示出根据一实施例的包括照明处理装置的图像处理装置的组成的图。

具体实施方式

以下，参照附图详细说明本发明的实施例。

用于真实地表现对象的渲染技术需要对几何图形、材质属性、光线准确地建模。对于几何图形建模来说，随着拍摄深度图像的深度照相机的发展，可实时获取移动的物体的形状信息。对于材质属性建模来说，提出有Lambert ian、Phong、Torrance-Cook、Or en-Nay ar、Emperical BSSRDF、BRDF等多种实验性/物理性的模型。

对于光线建模来说，以往利用Lambertian物体或Chrome Ball等辅助装置提取应用于对象的光线模型，即照明条件。相反，图1、图1以及图3的照明处理装置100a、100b、200可不使用辅助装置而利用实际对象的彩色图像和深度图像提取照明条件。图1、图2及图3的照明装置100a、100b、200可应用于数码相机、手机、智能手机等消费电子产品(CE，Consumer Electronics)之中。在此，“照明条件”可包括“关于应用于实际对象的照明的方向的信息”以及“关于应用于实际对象的照明的亮度的信息”。

由照明处理装置生成的照明条件可包括例如漫射(diffuse)照明信息和指向性(directional)照明信息。即，可通过结合漫射照明信息和指向性照明信息，来复原原始(original)照明条件。还可以存在利用漫射照明信息和指向性信息中的其中一个来复原原始照明信息的实施例。

在频域观察漫射照明信息时，漫射照明信息表现出对应于原始照明条件的低频分量的特性。在频域观察指向性照明信息时，指向性照明信息表现出对应于原始照明条件的高频分量的特性。在频域，漫射照明信息可具有连续的形态，指向性照明信息可具有不连续的形态。