[发明专利]一种基于低分辨率图像的高精度点云色彩重建方法

权利要求书

1.一种基于低分辨率图像的高精度点云色彩重建方法，其特征在于，包括：

(1)、针对高精度关键零部件，基于双目结构光系统重建出高精度无彩点云P；

(2)、针对高精度关键零部件，用左高分辨率灰度相机拍摄一张无编码光的高分辨率灰度图像I_gray，分辨率为a×b，用低分辨率彩色相机以相同位姿拍摄一幅无编码光的低分辨率彩色图像I_color，分辨率为c×d；

(3)、计算低分辨率彩色图像I_color到高分辨率灰度图像I_gray的变换矩阵H

3.1)、提取低分辨率彩色图像I_color以及高分辨率灰度图像I_gray的特征点

提取的特征点为KAZE特征点，具体为：

首先，利用高斯函数平滑图像，由平滑图像的梯度直方图确定参数k，生成O组S层的图像金字塔，o表示所在组，s表示所在层，σ₀为初始值，计算不同组、层图像对应的尺度参数：

σ_i(o,s)＝σ₀2^o+s/S，其中o∈[0,1,...,O-1]，s∈[0,1,...,S-1]，i∈[0,1,...,O×S-1]

然后，将尺度参数转化为每组每层时间参数：

使用AOS(加性算子分裂算法)求解非线性扩散方程：

其中，Lⁱ为各组、层图像的亮度值，A_l(Lⁱ)是图像Lⁱ的传导矩阵，M是Lⁱ像素数量；

然后，计算Hessian矩阵：

L_xx和L_yy分别为二阶横向和二阶纵向微分，L_xy为二阶交叉微分，将每个像素点处的Hessian值，与邻近26个点相比较求出Lⁱ的极值点然后根据泰勒展开式求解亚像素精确位置

最后，以特征点为中心，6σ为半径确定圆形区域，分别求取特征点邻域内点的一阶微分值L_x和L_y进行高斯赋值运算，在邻域内以60°为扇形窗口进行旋转，叠加邻域中点的向量，将向量和中的最长矢量方向确定为该特征点的主方向，然后利用M-SURF描述子建立描述向量，对于尺度为σ_i的特征点，取该特征点邻域24σ_i×24σ_i的矩形，再将其分解为具有2σ_i重叠度的4×4个9σ_i×9σ_i子区域，对所有点计算一阶微分值L_x和L_y，并在每个子区域中采用σ_gi＝2.5σ_i的高斯权重核，得到子区域的浮点型描述向量d_v作为特征点的值：

d_v＝(∑L_x ∑L_y ∑|L_x| ∑|L_y|)；

3.2)、对低分辨率彩色图像I_color中的特征点，在高分辨率灰度图像I_gray中查找最近邻的两特征点，如果最近邻特征点的距离与次紧邻特征点的距离之比小于设定的阈值θ，则确定低分辨率彩色图像I_color中的该特征点与高分辨率灰度图像I_gray中的最近邻特征点为匹配点对，得到匹配点对集：

Ω_rough＝{(p_{color_1},p_{gray_1}),(p_{color_2},p_{gray_2}),...}

其中，p_{color_1}、p_{color_2}为低分辨率彩色图像I_color中的特征点，p_{gray_1}、p_{gray_2}为高分辨率灰度图像I_gray中分别对应的特征点；

3.3)、设定迭代次数K_ransac，误差阈值通过随机抽样一致性RANSAC算法优化匹配点对集Ω_rough，得到优化后的匹配点对集：

Ω_fine＝{(p′_{color_1},p′_{gray_1}),(p′_{color_1},p′_{gray_1}),...}

3.4)、根据优化后的匹配点对集Ω_fine，得到坐标变换矩阵H；

(4)、配准低分辨率彩色图像I_color到高分辨率灰度图像I_gray，得到高分辨率彩色图像I_reg

首先，对低分辨率彩色图像I_color的像素点，使用坐标变换矩阵H进行坐标变换，得到低分辨率彩色图像

然后，创建一张空白的分辨率为a×b的高分辨率彩色图像I_reg，将低分辨率彩色图像与高分辨率彩色图像I_reg按照坐标重叠放置，然后采用双线性插值法对低分辨率彩色图像的四个角点连线组成的矩形区域内的高分辨率彩色图像I_reg的像素点进行插值，对于待插值的第i个像素点p_i(x_i,y_i)，根据其近邻的低分辨率彩色图像中的四个像素点p_{i_1}(x_i1,y_i1)、p_{i_2}(x_i2,y_i2)、p_{i_3}(x_i3,y_i3)、p_{i_4}(x_i4,y_i4)的像素值进行插值计算：

首先两两在x方向线性插值得到像素点p_{i_5}(x_i,y_i5)、p_{i_6}(x_i,y_i6)的像素值：

然后在y方向插值，得到像素点p_i(x_i,y_i)的像素值：

最后，对于高分辨率彩色图像I_reg中剩下的区域，以设定的RGB值在补全像素值，得到配准的高分辨率彩色图像I_reg；

(5)、配准的高分辨率彩色图像I_reg与高分辨率灰度图像I_gray进行融合，得到高分辨率的融合图像I_fused

首先，将配准的高分辨率彩色图像I_reg从RGB空间转为YCbCr空间，得到彩色图像I_{reg_ycbcr}；提取出彩色I_{reg_ycbcr}的Y通道，并记为Y_color，提取出CbCr通道，记为CbCr_color，对Y通道Y_color进行加权最小二值滤波得到基础层与细节层

然后，对高分辨率灰度图像I_gray进行加权最小二值滤波得到基础层与细节层高分辨率灰度图像I_gray进行双边滤波得到基础层与细节层对两个细节层和取平均，得到细节层Y^detail；

然后，将细节层Y^detail和基础层相加，记为Y通道Y_fused；

最后，将Y通道Y_fused和CbCr通道CbCr_color相结合，并转到RGB空间，得到高分辨率的融合图像I_fused；

(6)、根据双目相机的成像模型，将高精度无彩点云P的三维点的坐标对应到高分辨率灰度图像I_gray中的像素坐标，进一步到融合图像I_fused中的像素坐标，获取融合图像I_fused中该点RGB，传递到高精度无彩点云P的三维点，获得真实彩色点云P^*。