[发明专利]一种基于Kinect设备的材质外观采集方法

摘要

本发明公开了一种基于Kinect设备的材质外观采集方法，该方法利用单个微软体感设备Kinect来采集某物体的材质外观，最终获得该物体随位置、光照以及观察角度不同而变化的六维外观函数，物体各个位置的法向量和采集物体时周围的环境光照。该方法包括三个步骤物体几何与RGB图像的采集，对物体法向量、双向反射分布函数（BRDF）、相机方位和环境光照的联合优化和后处理。本发明不使用专业或昂贵的采集设备，只需要普通的Kinect设备，即可采集非平面物体的表面材质与法向量以及被测物体所处的环境光照。

主权项

一种基于Kinect设备的材质外观采集方法，其特征在于，包括以下步骤：(1)物体几何与RGB图像的采集：使用Kinect融合方法来采集物体的几何信息，对Kinect RGB摄像机同时拍摄的图像序列进行预处理；(2)对相机方位、双向反射分布函数BRDF、环境光照和物体法向量的联合优化：交替对相机方位、BRDF、环境光照和物体法向量进行迭代求解，求解的目标是在当前环境光照下，按照当前相机方位渲染出的物体图片和实拍RGB图像之间的差异最小化；该步骤包括以下子步骤：(2.1)初始化：将Kinect融合获得的相机方位沿局部坐标系的x轴平移2.5厘米作为初始相机方位；依据每个点在各个图像上的最小的灰度值对输入点进行聚类；假设每个点都具有完美镜面反射分量，将每个点对应的图像灰度值投射到环境中，从而计算出初始的环境光照；对点的法向量进行平滑处理；(2.2)优化目标：优化目标如下所示：argmin{Tj},{fr,n}x,EλIPI+λSPS+λCPC]]>其中λI、λS和λC是各个优化目标的权重，j是图像的序号，Tj是从全局坐标系转换到图像Ij对应的相机局部坐标系的4x4变换矩阵，E是环境光照，fr是BRDF，n是物体表面法向量，PI是光度一致性项，即物体的渲染结果与输入图像的差异程度，它被定义为：PI=ΣjΣx∈Xj||Ij(x,Tj)-L(ωo;x,E,Tj)||2]]>这里Ij(x,Tj)代表点x在图像Ij上对应的灰度值，L(ωo；x,E,Tj)代表点x在环境光照E下的渲染结果，ωo为观察方向；Ps/Pc是几何项，它们只与物体表面法向量的优化相关，代表着物体表面的平滑性与物体法向量的可积性，定义如下：PS=Σx||n(x)-Σy∈Rxn(y)||Σy∈Rxn(y)||||2]]>PC=Σx[1A(Rx)Σy0,y1∈Rx∫y0y1(n(y)·y1-y0||y1-y0||)dy]2]]>其中，Rx代表点x的一环邻域，y0,y1是Rx中的直接连通的两点，A(Rx)表示点x的一环邻接点与x构成的三角形环的总面积；(2.3)相机方位优化：通过高斯牛顿法最小化优化目标中的PI项，来优化每张图像的相机变换矩阵Tj，获得最接近输入图像的物体渲染结果；(2.4)材质优化：材质优化分为两步，首先依据之前对所有点的聚类结果的每一个类，依据当前估测的相机方位、环境光照和法向量结合输入图像来优化其对应的BRDF；然后，将每个点重新分配到使得该点的渲染结果和图像的欧氏距离最小的类中；(2.5)环境光照优化：根据当前估测的相机参数和每个点的BRDF、法向量，依据通用渲染方程，并利用环境光照在哈尔小波域上的稀疏性，使用稀疏最小二乘求解器来解出环境光照在哈尔小波域上的系数；最后，将小波域上的结果变换回空间域上；(2.6)法向量优化：使用高斯牛顿法最小化目标函数来优化更新法向量；(2.7)交替进行步骤(2.3)‑(2.6)，直至目标函数收敛或者用户指定的循环次数已经达到(3)对优化结果进行后处理。