[发明专利]一种透明物体抓取控制方法、装置、终端及存储介质

权利要求书

1.一种透明物体抓取控制方法，其特征在于，包括：

获取第一图像和第二图像，其中所述第一图像为包含目标透明物体的彩色图像，所述第二图像为与所述第一图像配对的深度图像；

对所述第一图像进行特征提取，得到所述目标透明物体的表面法线、遮挡边界以及透明物体分割图；

将所述透明物体分割图与所述第二图像进行图像融合，获得第三图像；

将所述表面法线、所述遮挡边界以及所述第三图像作为图像深度补偿模型的输入参数，结合所述图像深度补偿模型中的全局优化目标函数，对所述第三图像进行图像深度补偿，获得第四图像，以便根据所述第四图像，计算所述目标透明物体的抓取姿势参数。

2.根据权利要求1所述的一种透明物体抓取控制方法，其特征在于，所述全局优化目标函数具体为：

式中，p、q为图像中任意两个相邻的像素点，λ_D、λ_S、λ_N均为权重系数，E_D为深度距离误差系数，E_S为相邻像素误差系数，E_N为预测深度误差系数，D(p)为像素p的预测深度，D₀(p)为所述第二图像中像素p的深度，v(p,q)为正切向量，B为加权系数，T_obs为所述第二图像中像素点，N为表面法线图。

3.根据权利要求1所述的一种透明物体抓取控制方法，其特征在于，所述抓取姿势参数的获取过程具体包括：

根据所述第四图像，将所述第四图像与所述第一图像作为抓取质量评估模型的输入参数，以通过所述抓取质量评估模型的运算得到所述目标透明物体的各个抓取点的抓取质量，并根据最优抓取质量对应的抓取点，确定抓取姿势参数。

4.根据权利要求3所述的一种透明物体抓取控制方法，其特征在于，所述抓取质量评估模型具体为残差卷积神经网络模型。

5.一种透明物体抓取控制装置，其特征在于，包括：

图像获取单元，用于获取第一图像和第二图像，其中所述第一图像为包含目标透明物体的彩色图像，所述第二图像为与所述第一图像配对的深度图像；

特征提取单元，用于对所述第一图像进行特征提取，得到所述目标透明物体的表面法线、遮挡边界以及透明物体分割图；

图像融合单元，用于将所述透明物体分割图与所述第二图像进行图像融合，获得第三图像；

深度补偿单元，用于将所述表面法线、所述遮挡边界以及所述第三图像作为图像深度补偿模型的输入参数，结合所述图像深度补偿模型中的全局优化目标函数，对所述第三图像进行图像深度补偿，获得第四图像，以便根据所述第四图像，计算所述目标透明物体的抓取姿势参数。

6.根据权利要求5所述的一种透明物体抓取控制装置，其特征在于，所述全局优化目标函数具体为：

式中，p、q为图像中任意两个相邻的像素点，λ_D、λ_S、λ_N均为权重系数，E_D为深度距离误差系数，E_S为相邻像素误差系数，E_N为预测深度误差系数，D(p)为像素p的预测深度，D₀(p)为所述第二图像中像素p的深度，v(p,q)为正切向量，B为加权系数，T_obs为所述第二图像中像素点，N为表面法线图。

7.根据权利要求5所述的一种透明物体抓取控制装置，其特征在于，还包括：

抓取姿势参数确定单元，用于根据所述第四图像，将所述第四图像与所述第一图像作为抓取质量评估模型的输入参数，以通过所述抓取质量评估模型的运算得到所述目标透明物体的各个抓取点的抓取质量，并根据最优抓取质量对应的抓取点，确定抓取姿势参数。

8.根据权利要求7所述的一种透明物体抓取控制装置，其特征在于，所述抓取质量评估模型具体为残差卷积神经网络模型。