[发明专利]一种透明物体抓取控制方法、装置、终端及存储介质

说明书

本申请提供的一种透明物体抓取控制方法、装置、终端及存储介质，本申请基于包含目标透明物体的彩色图像，结合全局优化算法，通过表面法线来填充缺失的深度区域，同时根据遮挡边界所显示的深度不连续性，进而对透明物体形状的补偿，对所述深度图像进行深度参数补偿，从而得到能完整地还原出透明物体的深度信息的图像，解决了因深度信息的缺失导致的现有技术对透明物体的抓取框预测的准确性低的技术问题。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种透明物体抓取控制方法、装置、终端及存储介质。

背景技术

伴随着生产机器化、自动化的大趋势，深度相机作为机器视觉的基础，也伴随着自动化机器人的应用而得到广泛普及，然而，当面对透光物体时，如老花镜、塑料瓶以及透明材料等，其独特的视觉特性，使得深度相机拍摄到的透明物体的形状大体上呈平面或布满小孔的形状，从而导致深度信息的缺失，并使得现有技术对透明物体的抓取框预测的准确性低的技术问题。

发明内容

本申请提供了一种透明物体抓取控制方法、装置、终端及存储介质，用于解决现有技术对透明物体的抓取框预测的准确性低的技术问题。

本申请第一方面提供了一种透明物体抓取控制方法，包括：

获取第一图像和第二图像，其中所述第一图像为包含目标透明物体的彩色图像，所述第二图像为与所述第一图像配对的深度图像；

对所述第一图像进行特征提取，得到所述目标透明物体的表面法线、遮挡边界以及透明物体分割图；

将所述透明物体分割图与所述第二图像进行图像融合，获得第三图像；

将所述表面法线、所述遮挡边界以及所述第三图像作为图像深度补偿模型的输入参数，结合所述图像深度补偿模型中的全局优化目标函数，对所述第三图像进行图像深度补偿，获得第四图像，以便根据所述第四图像，计算所述目标透明物体的抓取姿势参数。

优选地，所述全局优化目标函数具体为：

式中，p、q为图像中任意两个相邻的像素点，λ_D、λ_S、λ_N均为权重系数，E_D为深度距离误差系数，E_S为相邻像素误差系数，E_N为预测深度误差系数，D(p)为像素p的预测深度，D₀(p)为所述第二图像中像素p的深度，v(p,q)为正切向量，B为加权系数，T_obs为所述第二图像中像素点，N为表面法线图。

优选地，所述抓取姿势参数的获取过程具体包括：

根据所述第四图像，将所述第四图像与所述第一图像作为抓取质量评估模型的输入参数，以通过所述抓取质量评估模型的运算得到所述目标透明物体的各个抓取点的抓取质量，并根据最优抓取质量对应的抓取点，确定抓取姿势参数。

优选地，所述抓取质量评估模型具体为残差卷积神经网络模型。

本申请第二方面提供了一种透明物体抓取控制装置，包括：

图像获取单元，用于获取第一图像和第二图像，其中所述第一图像为包含目标透明物体的彩色图像，所述第二图像为与所述第一图像配对的深度图像；

特征提取单元，用于对所述第一图像进行特征提取，得到所述目标透明物体的表面法线、遮挡边界以及透明物体分割图；

图像融合单元，用于将所述透明物体分割图与所述第二图像进行图像融合，获得第三图像；