[发明专利]基于实例分割和双目深度估计的目标姿态识别系统与方法

说明书

本发明公开了一种基于实例分割和双目深度估计的目标姿态识别系统与方法，涉及物体6D姿态估计领域，所述系统包括：双目相机摄像机模块，所述双目相机摄像机模块包括一个设置于试验台上特定位置的双目相机，通过所述双目相机摄像机模块得到包含目标物体的两幅存在差异的场景图像；数据预处理模块，所述数据预处理模块对所述两幅场景图像进行预处理，所述预处理包括降噪；实例分割模块，所述实例分割模块接收经过预处理的所述两幅场景图像，使用实例分割模型进行实例分割，得到所述目标物体的两幅掩码图；物体5D位姿估计模块，所述物体5D位姿估计模块获得所述目标物体的5D位姿估计。

技术领域

本发明涉及物体6D姿态估计领域，尤其涉及一种基于深度学习实例分割和双目深度估计的目标姿态识别系统与方法。

背景技术

机器人的环境感知技术与定位技术是机器人领域的研究热点。近几年来，由于计算机视觉和深度学习技术的发展，视觉技术得到了巨大的提升，将视觉与神经网络结合成为机器人领域的一种主流方法。机器人通过摄像机采集周围环境的图像信息，通过建立好的模型，可以精准地得到相关信息并传递给机器人，完成相应的操作。在机器人抓取任务中，这种方式的定位显得尤为常见，目标的图片信息通过神经网络处理后，便能得到高精度的目标位置信息，为机器人抓取提供了有力的技术支持。

公开号为CN110470228A的专利申请文件提供了一种利用姿态角估计的双目视觉测距方法，其方法具体为：在实例分割后得到目标的轮廓信息后，需要结合物体先验的几何信息，计算出物体与双目摄像机间的距离。但是该方法需要建立物体先验几何信息库，建立的库的准确性和种类数量会直接影响最终的结果。

公开号为CN110322512A的专利申请文件提供了一种结合小样本实例分割和三维匹配的物体位姿估计方法，其方法具体为：为了解决现有六自由度物体位姿估计方法对背景杂乱、前景物体遮挡鲁棒性差，从而需要训练样本数量大的问题，该发明提出了一种结合小样本实例分割和三维匹配的物体位姿估计方法。但是该方法需要借助目标物体的深度图像点云，数据集制作过程复杂、计算量大、耗时长。

因此，本领域的技术人员致力于开发一种基于深度学习实例分割和双目深度估计的目标姿态识别系统与方法，解决现有技术中存在的需要事前准备物体先验几何信息库导致的信息不准确不完备，或者制作深度图像点云所导致的计算复杂和耗时等问题。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是在不准备物体先验几何信息库也不制作深度图像点云的前提情况下完成目标姿态识别。

为实现上述目的，本发明提供了一种基于深度学习实例分割和双目深度估计的目标姿态识别的系统与方法，通过双目相机得到包含目标物体的两幅RGB图像，经由训练得到的模型对图像进行实例分割，得到两幅实例分割后的掩码图像，再对两幅掩码图像运用数字图像处理知识进行处理后，得到目标物体较精确的位姿信息。

本发明提供了一种基于实例分割和双目深度估计的目标姿态识别系统，包括：双目相机摄像机模块，所述双目相机摄像机模块包括一个设置于试验台上特定位置的双目相机，通过所述双目相机摄像机模块得到包含目标物体的两幅存在差异的场景图像；

数据预处理模块，所述数据预处理模块对所述两幅场景图像进行预处理，所述预处理包括降噪；

实例分割模块，所述实例分割模块接收经过预处理的所述两幅场景图像，使用实例分割模型进行实例分割，得到所述目标物体的两幅掩码图；

物体5D位姿估计模块，所述物体5D位姿估计模块获得所述目标物体的5D位姿估计，所述5D位姿估计包括所述目标物体在x轴、y轴方向上的角度信息、深度信息以及在x轴、y轴上的位置信息。

进一步地，所述实例分割模型为基于神经网络的模型。