[发明专利]基于旋转框目标和6D位姿检测的流水线扫码复核方法

说明书

本发明公开了一种基于旋转框目标和6D位姿检测的流水线扫码复核方法，属于计算机视觉处理领域；本发明基于目标检测和6D位姿检测网络配合工作的基础上引进了旋转框检测机制，尽可能减少了背景及其他类似物体对于待测物体在6D姿态识别中的影响。并提出了一种确定未知大小物体上条形码位置的方法，从而使得可以通过扫码来确定物体。

技术领域

本发明涉及计算机视觉处理技术领域，具体涉及一种基于旋转框目标和6D位姿检测的流水线扫码复核方法。

背景技术

目标检测是计算机视觉中的基本任务之一，也是大多数6D位姿检测的前置要求，目前已经提出了许多高性能的通用目标检测器。目前流行的检测方法一般可分为两种类型：两阶段目标探测器如RCNN及其的各种改进版本和单阶段目标探测器如YOLO系列。通常来说两阶段方法在各种基准测试上都取得了良好的结果，而单阶段方法保持了更快的检测速度。但这些都属于水平目标检测器，当面对大量重复且摆放混乱的物体时，往往会将另一个同样的物体圈入框内，导致在后续的6D位姿检测时对网络的识别造成较大干扰。

在三维中识别物体和估计它们的姿态在机器人任务中有广泛的应用。例如，识别物体的三维位置和方向对于机器人的抓取操作很重要。目前常见的6D姿态估计方法有三种，首先是在已知物体三维模型的前提下通过模型与图像之间的特征点匹配来完成的方法，这种方法由于要求事先已知物体精确的3D模型导致应用上受到很大限制；其次是通过多个同一物体不同旋转角度的模板进行模板匹配进行的方法，此方法在物体受到遮挡时会受到很大的干扰；还有一种就是投票的方法，而这种方法会受到背景中相似物体的较大干扰。

相对于通过视觉识别，通过条形码扫码读取物体信息是绝对准确的，但出于复核的目的，默认物体的种类与大小均是未知的，并且由于条形码通常只在物体的一个面上，所以在寻找前需要机械臂先将物体拿起并展示，而由于物体本身大小位置，所以通过目标检测找到条形码后，如何确定条形码在机械臂坐标下的位置也较为困难，导致目前这一工作往往由人工完成。

发明内容

针对上述技术中存在的问题，本发明的目的在于提供一种基于旋转框目标和6D位姿检测的流水线扫码复核方法，该方法通过引入旋转目标检测减少背景信息对6D位姿识别网络的干扰，并提出一种确定未知大小物体上条形码相对机械臂位置的方法。

为了实现上述目的，本发明采用的技术方案如下：

一种基于旋转框目标和6D位姿检测的流水线扫码复核方法，其特征在于，包括以下步骤：

1)接收相机图像作为输入图像并进行缩放处理使其符合旋转目标检测网络的输入要求；

2)通过在yolox目标检测网络的数据加载层中添加角度通道，并在Mosaic数据增强中关闭旋转与形变仿射的增强方式以防止这两项增强方式对输入的图片的角度造成影响，然后在预测层中的解耦的回归头里添加角度通道，具体可见附图2，并将回归部分的损失函数改为一种近似的SkewIoU损失函数：

其中L_reg(v',v)＝L_smooth-l1(v'_θ,v_θ)-IoU(v'_{x,y,w,h},v_{x,y,w,h})

式中N表示回归框的数量；objn表示物体为前景(取1)还是背景(取0)；v’表示预测的向量；v表示实际的向量；α是权重超参量，取1；|f(SkewIoU)|获取损失大小的标量，无需其可导；L_smooth-l1表示光滑l1损失；IOU表示两个区域交集与并集的比值；v'_θ表示预测的角度；v_θ表示实际的角度；v'_{x,y,w,h}表示预测的向量中的中心坐标，长度，宽度；v_{x,y,w,h}表示实际的向量中的中心坐标，长度，宽度；