[发明专利]一种基于深度学习的双目视觉位置测量系统及方法

说明书

本发明公开的一种基于深度学习的双目视觉位置测量系统及方法，属于多目视觉位置测量技术领域。本发明公开的系统，包括双目视觉图像捕获模块、深度学习物体识别模块、图像分割模块、拟合模块、双目点云模块。本发明还公开一种基于深度学习的双目视觉位置测量方法，基于卷积神经网络搭对图像特征进行提取、融合，根据图像识别任务对特征提取网络进行修剪，轻量化网络结构，利用全连接层网络对提取图像特征进行回归、解码，制作图像分割、拟合算法，将深度学习应用于双目视觉位置测量，能够兼顾测量适用性和准确性，能够对实际场景下多类别多数量物体的位置进行快速准确测量，具有非接触式测量、位置求解精准且实时性高的优点。

技术领域

本发明涉及一种基于深度学习的双目视觉位置测量系统及方法，属于多目视觉位置测量技术领域。

背景技术

视觉测量技术是建立在计算机视觉研究基础上的一门技术，研究重点是物体的几何尺寸及物体在空间的位置、姿态等的测量。双目视觉是计算机被动测距方法中重要的距离感知技术，可在多种条件下灵活地测量景物的三维立体信息，在非接触测量中占有越来越重要的位置。双目视觉建立在空间几何结构的基础上，通过计算左右图像的视差，来反映出物体在真实世界的空间位置。双目视觉由于建立在空间几何结构的基础上，结果更加稳定，并且可以直接求解、无需迭代，求解速度快测量精度高。

深度学习是人工智能在计算机视觉中的一种应用，与传统机器学习方法相比具有更强大的特征学习和特征表达能力。深度学习图像识别方法以卷积神经网络为核心，通过不断地训练和自我学习，来构建复杂的特征网络。深度学习通过建立期望识别物体类别数据集，完成对深度学习网络的建立、训练，将得到的训练权值代入识别网络中，便可以实现对多类别多数量物体的识别，具有识别范围广、准确率高等特点。

然而现有的深度学习与双目视觉结合的物体测量方法在深度学习网络结构设计和物体中心坐标求解方法上还存在不足。深度学习网络结构冗余复杂，计算成本大、速度慢；物体中心坐标求解方法存在缺陷，导致物体测量结果不准确，难以实际应用。

发明内容

针对现有识别技术在实际测量物体位置时，无法兼顾测量适用性和准确性的问题，本发明公开的一种基于深度学习的双目视觉位置测量系统及方法要解决的问题是：将深度学习应用于双目视觉的位置测量，通过轻量化深度学习网络，能够兼顾识别与测量适用性和准确性，能够对实际场景下多类别多数量物体进行快速识别与位置准确测量，具有非接触式测量、位置求解精准且实时性高的优点。

本发明的目的是通过下述技术方案实现的。

本发明公开的一种基于深度学习的双目视觉位置测量系统，包括双目视觉图像捕获模块、深度学习物体识别模块、图像分割模块、拟合模块、双目点云模块。

双目视觉图像捕获模块用于捕获、采集左右相机图像数据，利用核线纠正方法对相机畸变进行修正。输出为核线纠正后双目相机左右相机RGB三通道图像和左右相机内参、基线。

深度学习物体识别模块，输入为核线纠正后双目相机左右相机RGB三通道图像，通过制作深度学习图像识别数据集，基于卷积神经网络对图像特征进行提取、聚合，利用全连接层网络对提取图像特征进行回归、解码。输出为左相机图像中识别到的物体的类别标签、识别框位置坐标及其长宽数据。所述类别标签、识别框位置坐标及其长宽数据作为物体识别信息。

图像分割模块，输入为核线纠正后双目相机左相机RGB三通道图像和物体识别信息，通过物体识别信息中的识别框位置坐标及其长宽数据将图像进行分割，降低环境噪声。输出为核线纠正后双目相机左相机RGB三通道图像中各识别物体的RGB三通道图像。