[发明专利]一种基于YOLO v5的包装物双目识别定位方法

说明书

本发明公开了一种基于YOLO v5的包装物双目识别定位方法，本发明主要包含以下步骤：A.双目相机标定；B.图像采集并立体校正；C.利用YOLO v5进行包装物识别与定位；D.立体匹配；F.获取包装物的三维坐标，本发明提出的一种基于YOLO v5的包装物双目识别定位方法，首先使用标定后的双目相机采集图像，将获取的左右图像进行立体校正，将图像校正成理想成像下的双目图像，然后输入到目标检测模型中，对识别出的目标包装通过立体匹配算法对左右图像进行匹配，根据左右图像的视差值计算目标包装物的距离值，最后把包装物的三维坐标发送给机器人，可用于引导机器人对包装袋或包装盒等包装物抓取分拣的自动化场景。

技术领域

本发明涉及机器视觉检测领域，具体涉及一种基于YOLO v5的包装物双目识别定位 方法。

背景技术

随着现代化工业的发展以及自动化技术的成熟，机器人代替人工的应用场景越来越普 遍。对于流水线上的包装盒和包装袋等包装物的分拣以及集装箱中袋装或盒装等包装物料搬 运工作枯燥乏味，长期以来耗费了大量的人力资源。

人工智能与深度学习的发展，使得目标检测技术得到迅速发展，YOLO v5是一种端到 端的单阶段目标检测算法，使用回归的方法直接计算目标的类别和位置。通过对YOLOv5使 用大量的数据迭代训练，可以实现对包装物的精准识别和定位。

获取包装物相对于机器人的空间位置坐标对机器人的分拣和搬运工作极为重要。双目 视觉定位方法是模仿生物系统的视觉距离估计和景物重建过程，即由存在一定间距的两个彩 色摄像头拍摄同一物体，同一物体在两个摄像头中的成像像素点具有对应关系，根据成像变 换矩阵和对应像素点在像空间中的位置就可以求出目标的空间位置。

发明内容

为解决人工分拣搬运包装物工作效率低下的问题，本发明提出一种基于YOLO v5的 包装物双目识别定位方法，该方法可用于流水线中包装物的识别定位，适用于机器人自动化 分拣搬运场景。

为了达到上述发明目的，本发明采用的技术方案包含以下步骤：

A、双目相机标定；

B、图像采集并进行立体校正；

C、使用YOLO v5进行包装物识别与定位；

D、对左右图像立体匹配；

E、计算包装物的三维坐标。

进一步地，所述步骤A的具体操作为使用双目相机拍摄20张左右相机的棋盘格图像， 使用张氏标定法标定左右相机，获取左右相机的内外参数和左右相机的相对位置变换矩阵， 根据变换矩阵和对应像素点在像空间中的位置就可以求出物体的空间位置。

进一步地，所述步骤B地具体操作是使用双目相机获取左右图像，然后根据步骤A获 取的相机参数对左右图像进行立体校正，最后将左右图像作为目标检测模型的输入，立体校 正示意图如图3所示。

进一步地，所述步骤C的具体操作是首先采集包装物的图像数据集训练YOLO v5检测模型，然后使用训练后的模型检测包装物在图像中的Bounding Boxs(中心点坐标和预测框 的宽高和类别。

进一步地，所述步骤C中YOLO v5是一种优秀的单阶段目标检测模型，直接使用回归的方式识别定位包装物，满足实时性的要求。

进一步地，所述步骤D的具体操作是使用立体匹配算法对左右图像检测到的包装物目 标匹配，得到视差图，立体匹配算法采用SGBM算法，该算法在精度和速度上比其他匹配算 法更优。

进一步地，所属步骤E的具体操作是根据相机变换矩阵和对应包装物像素点在像空间 中的位置以求出包装物的空间位置坐标。

与现有技术相比，本发明具有以下有益效果：