[发明专利]基于深度恢复信息的物体分类方法

摘要

本发明涉及计算机视觉领域中的物体分类及单目图像深度估计技术领域，为提出一种模型使之能够引入深度信息来提升分类性能，并且在测试时仅仅需要RGB图像而不需要传感器采集的真实深度图像作为输入，本发明，基于深度恢复信息的物体分类方法，步骤如下：(1)对数据集进行预处理；(2)构建模型中的深度恢复模型；(3)训练分别接收RGB和深度图像作为输入的两个图像分类模型；(4)构建最终的融合模型并进行训练和测试；(5)将步骤四训练好的融合网络迁移到自然图像的分类数据集；(6)对比模型在两个公开数据集上图像分类的效果以及可视化。本发明主要应用于计算机视觉领域中的物体分类及单目图像深度估计场合。

主权项

1.一种基于深度恢复信息的物体分类方法，其特征是，步骤如下：(1)对数据集进行预处理，将数据库中保存深度信息的矩阵统一转化为深度图像格式，用于网络的训练及生成深度图的可视化，并且将彩色图像与对应的深度图像组成图像对，构建10折交叉验证，用于网络的训练与结果评估；(2)构建模型中的深度恢复模型，采用卷积层‑激活函数层‑批量归一化层BatchNorm作为网络的组成单元，多层堆叠成最终的模型；(3)训练分别接收RGB和深度图像作为输入的两个图像分类模型，采用卷积神经网络AlexNet作为基准网络，分别以RGB图像和真实深度图像作为输入，训练两个图像分类模型，作为实验的基准线以及为最后的融合模型提供预训练参数，将RGB输入分类网络称之为网络1，深度图像输入的分类网络称之为网络2；(4)构建最终的融合模型并进行训练和测试，将步骤(2)和步骤(3)训练好的模型以适当的方式融合为一个图像分类模型，使之能够只接受RGB图像即完成图像分类任务；将步骤(3)中的网络1和网络2用特征融合的方式连接起来，并且将步骤二中深度图像模型的输出作为步骤三中网络2的输入，完成三路网络的融合，探究合适的损失函数、最优特征融合的方式以及各子网络参数最优的初始化方法；(5)将步骤四训练好的融合网络迁移到自然图像的分类数据集，采用两种方式重新训练融合之后的模型，一是直接用步骤四的模型测试自然图像数据集，记录分类结果；二是使用在自然图像数据集中训练好的RGB模型替换步骤四中的RGB模型，重新训练整个融合模型，再进行测试；(6)对比模型在两个公开数据集上图像分类的效果以及可视化。评估引入深度信息后对于模型性能的提升效果，并且对深度恢复之后的图像进行可视化。