[发明专利]基于深度恢复信息的物体分类方法

说明书

本发明涉及计算机视觉领域中的物体分类及单目图像深度估计技术领域，为提出一种模型使之能够引入深度信息来提升分类性能，并且在测试时仅仅需要RGB图像而不需要传感器采集的真实深度图像作为输入，本发明，基于深度恢复信息的物体分类方法，步骤如下：(1)对数据集进行预处理；(2)构建模型中的深度恢复模型；(3)训练分别接收RGB和深度图像作为输入的两个图像分类模型；(4)构建最终的融合模型并进行训练和测试；(5)将步骤四训练好的融合网络迁移到自然图像的分类数据集；(6)对比模型在两个公开数据集上图像分类的效果以及可视化。本发明主要应用于计算机视觉领域中的物体分类及单目图像深度估计场合。

技术领域

本发明涉及计算机视觉领域中的物体分类及单目图像深度估计技术领域，尤其涉及一种基于生成式对抗网络的深度估计方法。

背景技术

图像物体分类是计算机视觉研究中的基本问题，也是图像分割、物体跟踪、行为分析等其他高层视觉任务的基础。由于彩色RGB图像是现实三维世界的二维投影，一副平面图像可能对应无数现实世界的实际场景。因此深度信息不可避免的丢失掉。深度信息能够反映2D图像所不具有的几何信息，对于三维场景重建、手势识别、人体姿态估计等有着重要意义^[1]。RGB图像代表的2D信息与深度图代表的深度信息可以为物体分类任务提供不同的、相互补充的信息。对于人类来说，从单个图像推断潜在的三维结构并不困难，对于计算机视觉算法来说，由于没有具体可靠的特征如几何信息等可以直接利用，是一个极具挑战的任务。最近随着深度传感器的发展，出现了很多的公开的数据集，如NYUD2(纽约大学彩色-深度图数据集)、RGB-D Object Dataset(彩色-深度图物体数据集)、KITTI(卡尔斯鲁厄理工学院及丰田技术研究院智能驾驶数据集)等同时包含有RGB图像和深度图像，并且有很多工作说明了同时使用两种模态的图像建立识别模型，能够有效的提升物体分类效果^[2]。

当前基于深度信息的视觉研究方法主要分为两类：第一种是尽可能恢复真实场景的三维形状并且探索合适的三维特征描述符。很多工作通过点云特征如点密度特征、三维形状特征、三维水平特征和截断距离函数特征等将通常的二维的分类和检测模型拓展到三维，此类方法通常需要估计物体的三维形状以提高物体分类检测精度，或者利用上下文信息，如对象间的关系及对象与背景间的关系以提供对待识别物体的多视图理解。这种方法往往需要大量的较难获取的三维训练数据因此在实际应用中收到较大限制；第二种将深度值编码为二维图像，并与RGB彩色图像结合起来形成2.5D的数据。此类方法通常将深度图像编码为地面高度、重力角度和水平视察三种特征，与RGB图像一起作为模型的两个输入，分别从两幅成对的图像中提取不同的特征再进行融合，进而进行分类或者检测。此类方法借助于深度传感器的硬件设备来直接的获取深度信息，如利用激光雷达、Kinect(微软3D体感摄影机)等直接获取距离信息。

由于深度传感器造价昂贵，因此从在绝大数现实场景下的图像分类模型仅只有RGB单一模态的输入，并且大多数计算机视觉数据集，如ImageNet(大规模视觉识别挑战竞赛)、Pascal VOC(模式分析统计建模以及计算学习数据集)等也仅仅只含有RGB图像。在不使用深度传感器直接捕捉深度信息的情况下，如果我们能在2D的计算机视觉任务中有效的引入深度信息，可能会提升当前诸如物体分类、检测等的视觉任务的性能。

图像分类任务依赖于对图像特征的恰当选择与提取。卷积神经网络(Convolutional Neural Network，CNN)提供了一种端到端的学习模型，模型中的参数通过梯度下降方法进行训练，经过训练后的卷积神经网络能够学习到图像中的特征，并且完成对图像特征的提取和分类。较于传统的图像识别方法，CNN具有非常出色的特征提取和特征学习能力。1998年，Lecun等人提出的卷积神经网络LeNet成功第运用到了手写体数字的识别中，LeNet的提出为卷积神经网络在图像分类的应用方面引起了一阵研究热潮，并且为用于图像分类的CNN提供了一种通用的基本结构：即交替连接的卷积层和池化层搭配激活函数进行特征提取，最后连接全连接层的分类器进行分类和识别。