[发明专利]基于激光散斑和模态融合的材质识别方法及装置

说明书

本发明公开了一种基于激光散斑和模态融合的材质识别方法及装置，其中，方法包括以下步骤：利用投影激光散斑结构的结构光相机对被测物体进行数据采集，得到彩色模态图像、深度模态图像和红外模态图像；对彩色模态图像、深度模态图像和红外模态图像进行预处理；将预处理后的彩色模态图像、深度模态图像和红外模态图像输入预设的深度神经网络，并在所采集的数据集上进行训练，从相应的散斑结构和彩色、深度模态耦合关系学习到材料级别的特征，生成用于材料分类的物体材质分类模型，以在测试阶段，通过物体材质分类模型生成材质预测结果。该方法可以利用激光散斑和材质的相互作用以及其与可见光视觉的模态融合实现材质识别，简单易实现。

技术领域

本发明涉及光学激光散斑成像、计算机视觉、深度学习和材质识别技术领域，特别涉及一种基于激光散斑和模态融合的材质识别方法及装置。

背景技术

多种多样的材质构成了生活中种类繁多的物体，常见材料包括木材、塑料、纸张、橡胶、纤维等等。环保行业中，“垃圾是放错了的资源”合理的材质识别可以实现资源的有效利用；工业生产中，材质识别可以实现异常检测，提前发现生产问题；学术界中，材质识别可以帮助机器人更好的理解周围环境。基于以上领域的需求，对物体材质识别的研究显得很有必要。

现有主要的研究方法是在可见光波段中利用颜色、纹理和粗糙程度的信息对材质进行识别，但这些方法在许多更复杂的环境光场景下的鲁棒性都不太强，比如环境光从亮到暗或是色温的变化从暖色调到冷色调，或是由于物距的变化所引起的纹理尺度的变化都会影响鲁棒性。

此外，研究者也试图利用红外波段、拉曼光以及非光学的超声波和触觉信号来对物体材质识别进行研究。当前也有公开技术用于物体材质分类，如一种基于灵巧手触觉信息的联合稀疏编码的材质分类以及一种基于多模态融合深度学习的物体材质分类方法。前者仅仅利用了触觉序列，没有将材质的多种模态信息结合起来。后者探索了利用视觉和触觉的互补信息来进行物体材质的分类。然而，相比于触觉的接触式信息，非接触式的视觉信息更易于获取。利用激光散斑和材质的相互作用以及其与可见光视觉的模态融合实现材质识别任务仍然是一个具有挑战的问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于激光散斑和模态融合的材质识别方法，该方法可以利用激光散斑和材质的相互作用以及其与可见光视觉的模态融合实现材质识别，简单易实现。

本发明的另一个目的在于提出一种基于激光散斑和模态融合的材质识别装置。

为达到上述目的，本发明一方面实施例提出了一种基于激光散斑和模态融合的材质识别方法，包括以下步骤：利用投影激光散斑结构的结构光相机对被测物体进行数据采集，得到彩色模态图像、深度模态图像和红外模态图像；对所述彩色模态图像、所述深度模态图像和所述红外模态图像进行预处理；将预处理后的彩色模态图像、深度模态图像和红外模态图像输入预设的深度神经网络，并在所采集的数据集上进行训练，从相应的散斑结构和彩色、深度模态耦合关系学习到材料级别的特征，生成用于材料分类的物体材质分类模型，以在测试阶段，通过所述物体材质分类模型生成材质预测结果。

本发明实施例的基于激光散斑和模态融合的材质识别方法，展示了由空间相干光和材料表面微结构的相互作用所形成的激光散斑图像可以编码独特的材料级别的特征，并且可以被用于实时高分辨率的材料识别任务；同时，结合彩色和深度模态可以提高系统识别材质的能力，从而可以利用激光散斑和材质的相互作用以及其与可见光视觉的模态融合实现材质识别，简单易实现。

另外，根据本发明上述实施例的基于激光散斑和模态融合的材质识别方法还可以具有以下附加的技术特征：