[发明专利]深度信息摄像模组的RGB-D图像合成优化系统及其方法

权利要求书

1.一深度信息摄像模组的RGB-D图像合成优化系统，供优化一深度信息摄像模组的RGB-D图像合成效果，其中该深度信息摄像模组包括一结构光投射模块，一深度成像模块，一RGB成像模块以及一图像处理模块，该结构光投射模块配合该深度成像模块供采集一深度图像数据和一IR图像，该RGB成像模块供采集一RGB图像，该图像处理模块可通信地连接于该RGB成像模块和该深度成像模块，该RGB图像和该深度图像数据融合形成一RGB-D图像，其特征在于，包括：

一标定模块，其中所述标定模块可通信地连接于该深度信息摄像模组，供标定该深度成像模块和该RGB成像模块的标定参数；

一对齐量化模块，其中所述对齐量化模块可通信地连接于该深度信息摄像模组和所述标定模块，供量化该IR图像和该RGB图像的特征点对齐效果，以间接地量化该深度图像数据和该RGB图像的对齐效果；和

一调整优化模块，其中所述调整优化模块根据所述对齐量化模块的量化对齐结果，调整该深度成像模块和该RGB成像模块的标定参数；

其中量化该IR图像和该RGB图像的特征点对齐效果的过程，包括步骤：

a)对齐该IR图像于该RGB图像；

b)提取该IR图像和该RGB图像中的对应特征点；

c)根据该IR图像和该RGB图像的对应特征点的对齐误差，量化该IR图像和该RGB图像的特征点对齐效果；和

d)根据量化对齐结果，调整所述深度成像模块和所述RGB成像模块的标定参数；

其中所述对齐该IR图像和该RGB图像的步骤还包括步骤：

a1)构造函数p_ir＝z×(x,y,1)，其中x、y是所述IR图像中各点的像素坐标，z是该像素坐标对应的深度值；

a2)构建函数P_ir＝inv(K_ir)·p_ir，其中Pir是深度成像模块的坐标系中点的空间坐标，K_ir是深度成像模块的内参；

a3)利用函数P_rgb＝R·P_ir+T，将深度成像模块的坐标系转到RGB成像模块坐标系；

a4)利用函数p_rgb＝K_rgb·P_rgb，并进行齐次坐标变换，将RGB成像模块的坐标系中的空间各点坐标映射到所述RGB图像坐标,p_rgb(1)为列坐标，p_rgb(2)为行坐标；

a5)利用函数I_IR(p_rgb(2),p_rgb(1))＝I_IR,ori(i,j)，将所述IR图像对齐于所述RGB图像。

2.如权利要求1所述的RGB-D图像合成优化系统，其中所述RGB-D图像优化系统还包括一被测标板，所述被测标板被实施为一棋盘格标板，其中该深度信息摄像模组采集所述棋盘格标板的该IR图像，该深度图像数据和该RGB图像。

3.如权利要求2所述的RGB-D图像合成优化系统，其中该RGB图像和该IR图像被传输至所述标定模块，供标定该深度信息摄像模组的该深度成像模块和该RGB成像模块的一标定参数。

4.如权利要求2所述的RGB-D图像合成优化系统，其中该IR图像和该深度图像数据均通过该深度成像模块所采集，以使得该IR图像高度对齐于该深度图像数据。

5.如权利要求4所述的RGB-D图像合成优化系统，其中所述RGB-D图像合成优化系统还包括一遮蔽装置，其中，在采集该IR图像时，所述遮蔽装置可操作地遮蔽该深度信息摄像模组的该结构光投射模块。

6.如权利要求5所述的RGB-D图像合成优化系统，其中所述RGB-D图像合成优化系统还包括一补光装置，其中，在采集该IR图像时，所述补光装置供补充该IR图像成像所需的红外光，以提高该IR图像的成像质量。