[发明专利]基于激光散斑和模态融合的材质识别方法及装置

权利要求书

1.一种基于激光散斑和模态融合的材质识别方法，其特征在于，包括以下步骤：

利用投影激光散斑结构的结构光相机对被测物体进行数据采集，得到彩色模态图像、深度模态图像和红外模态图像；其中，包括：利用投影激光散斑结构的结构光相机对被测物体在不同的距离和相机姿态上采样，得到连续曝光的红外图像、连续曝光且具有不同曝光时长的彩色图像、深度图像；

对所述彩色模态图像、所述深度模态图像和所述红外模态图像进行预处理；以及

将预处理后的彩色模态图像、深度模态图像和红外模态图像输入预设的深度神经网络，并在所采集的数据集上进行训练，从相应的散斑结构和彩色、深度模态耦合关系学习到材料级别的特征，生成用于材料分类的物体材质分类模型，以在测试阶段，通过所述物体材质分类模型生成材质预测结果；

所述对所述彩色模态图像、所述深度模态图像和所述红外模态图像进行预处理，包括：

将所述彩色模态图像转换到所述红外模态图像和所述深度模态图像所对应的坐标系下

利用所述深度模态图像和预设的发光模式得到所述被测物体表面法向量和入射光线的近似夹角，并对各通道图像进行归一化；

其中，还包括：利用转换矩阵在红外图像空间下对彩色图像进行双线性插值的后向映射获得对应于红外图像空间下同尺寸的彩色图像，实现像素的一一匹配，得到三通道的彩色图像模态；通过值域归一化和平方化反比对深度图像进行预处理，对预处理后的深度图像上采样，和红外通道的对应区域形成像素的一一匹配，得到深度图像模态；对红外图像进行归一化处理得到归一化的红外图像模态。

2.根据权利要求1所述的方法，其特征在于，还包括：

利用光信号进行材料识别任务，其中，通过渲染模型以利用光线在不同的物体表面的反射和散射特性来对物体进行区分。

3.根据权利要求2所述的方法，其特征在于，所述渲染模型为：

，

其中，表示在t时刻从物体表面点x沿着方向出射的波长为λ的光的辐射亮度，反映在图像上，表示出射光线所对应的像素接受的能量大小，这个强度为物体表面点x对以入射角度为自变量的函数进行球面积分，其中，表示t时刻从物体表面点x沿着方向入射的波长为λ的光的辐射亮度，表示物体的散射特性的BRDF模型，表示t时刻从物体表面点x沿着方向入射的波长为λ的光在方向上出射的比率，表示入射方向和物体在该点的x法向量的内积。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述在所采集的数据集上进行训练，包括：

以交叉熵为损失函数、用小批次梯度下降的方式对网络进行训练，得到基于对应模态组合的物体材质分类模型。

5.一种基于激光散斑和模态融合的材质识别装置，其特征在于，包括：

采集模块，用于利用投影激光散斑结构的结构光相机对被测物体进行数据采集，得到彩色模态图像、深度模态图像和红外模态图像，其中，包括：利用投影激光散斑结构的结构光相机对被测物体在不同的距离和相机姿态上采样，得到连续曝光的红外图像、连续曝光且具有不同曝光时长的彩色图像、深度图像；

预处理模块，用于对所述彩色模态图像、所述深度模态图像和所述红外模态图像进行预处理，所述预处理模块进一步用于将所述彩色模态图像转换到所述红外模态图像和所述深度模态图像所对应的坐标系下；利用所述深度模态图像和预设的发光模式得到所述被测物体表面法向量和入射光线的近似夹角，并对各通道图像进行归一化，其中，还包括：利用转换矩阵在红外图像空间下对彩色图像进行双线性插值的后向映射获得对应于红外图像空间下同尺寸的彩色图像，实现像素的一一匹配，得到三通道的彩色图像模态；通过值域归一化和平方化反比对深度图像进行预处理，对预处理后的深度图像上采样，和红外通道的对应区域形成像素的一一匹配，得到深度图像模态；对红外图像进行归一化处理得到归一化的红外图像模态；以及

神经网络预测模块，用于将预处理后的彩色模态图像、深度模态图像和红外模态图像输入预设的深度神经网络，并在所采集的数据集上进行训练，从相应的散斑结构和彩色、深度模态耦合关系学习到材料级别的特征，生成用于材料分类的物体材质分类模型，以在测试阶段，通过所述物体材质分类模型生成材质预测结果。