[发明专利]一种基于深度学习技术的双目标定系统

说明书

本发明公开了一种基于深度学习技术的双目标定系统，包括参数学习阶段和应用阶段；所述的参数学习阶段包括：一、目标检测模型；二、标定系统模型；三、目标抓取点识别模型；所述的应用阶段包括目标位置标定。本发明的一种基于深度学习技术的双目标定系统，采双目摄像头对标进数据提取，应用深度学习技术进行目标识别以及标定系统参数以及目标抓取点识别的学习，达到能够根据双目摄像头拍摄的相片，识别出相应目标以及其抓取点的三维坐标，为机器抓取提供准确的目标空间信息。

技术领域

本发明涉及一种双目标定系统，具体涉及一种基于深度学习技术的双目标定系统。

背景技术

双目视觉是被动测距方法中最重要的距离感知技术，由于它直接模拟人类视觉对场景的处理方式，可通过两台摄像机从不同角度同时拍摄被测物体，经过双目标定和立体匹配，利用三角测量原理获得物体的三维信息。其中双目标定作为双目视觉最重要的组成部分，其本质是根据摄像机几何成像模型确定两摄像机的内部参数和两摄像机之间的相对位置关系。

该发明采用双目摄像头对标进数据提取，应用深度学习技术进目标的识别以及标定系统参数和目标抓取点识别的学习，达到能够根据双摄像头拍摄的相片，识别出相应目标以及其抓取点的三维坐标，为机器抓取提供准确的目标标定信息。

发明内容

为了解决上述问题，本发明公开了一种基于深度学习技术的双目标定系统。

本发明的技术方案是：一种基于深度学习技术的双目标定系统，包括参数学习阶段和应用阶段；所述的参数学习阶段包括：一、目标检测模型：

1.采用平行式双目摄像头进行数据提取，对每一个需要标定的时间点拍摄一组两张相片；

2.分别应用目标检测算法SSD对同一组的两张相片进行目标检测训练，训练数据中已经对相片中的目标进行标识，训练的目标函数为,其中：T为标识的目标参数，P为检测出的目标参数，目标的参数包括目标轮廓，fsize为目标参数数量，bsize为一个批次中目标数量；

3.获得目标检测模型M_od；

4.目标同步：由于目标在同一组两张相目中分别被检测出，因此要对两张相片中同一目标进行对应；

二、标定系统模型：

1.将已经检测出的目标的参数作为标定系统的输入，其中每一个目标包含两张相片中的轮廓参数；

2.构建三层双向循环神经网络（RNN）作为标定系统模型，产生一组输出序列，该输出序列每一个元素为标定目标参数；

3.标定系统目标函数为,其中：T为标识的目标参数，P为标定出的目标参数，目标的参数包括标轮廓对应的三维坐标｛x，y，z｝，bsize为一个批次中目标轮廓数量；

4.获得标定系统模型M_ca；

三、目标抓取点识别模型：

1.将已经标定的目标数据成组分别输入抓取点识别模型，一个目标的轮廓三维坐标数据作为一组输入；

2.采用多层感知机（MLP）作为识别模型，通过5层网络，输出目标的抓取点三维坐标；

3.抓取点识别模型目标函数为,其中T为标识的目标抓取点坐标，P为识别出的目标抓取点坐标，三维坐标表示为｛x，y，z｝，bsize为个批次中标数量；

4.获得抓取点识别模型M_gr；

所述的应用阶段包括目标位置标定：

1.根据双目摄像头拍摄目标，得到一组两张图片P1,P2；