[发明专利]从深度图像中分割人手与交互物体的方法和装置

说明书

本申请提出一种从深度图像中分割人手与交互物体的方法和装置，其中，方法包括：利用基于颜色图像的分割方法，构建基于深度图像的人手分割数据集；利用基于深度图像的人手分割数据集，训练得到分割模型，分割模型由编码器、注意力传递模型和解码器构成；利用分割模型对待处理的深度图像进行分割，获取与待处理的深度图像对应的分类标签图，分类标签图中每个像素点的值为每个像素点的类型值。该方法利用基于深度图像的人手分割数据集通过训练得到的分割模型，利用分割模型对待处理的深度图像进行分割，实现了像素级别的人手与物体分割，提高了环境鲁棒性，分割精度较高、能够处理复杂交互情形下的人手与物体分割的情况。

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种从深度图像中分割人手与交互物体的方法和装置。

背景技术

人手分割是许多诸如手势识别、人手跟踪、人手重建等研究领域的基本问题。相比于单独的手部运动，对同物体交互状态下的研究在人机交互和虚拟现实领域更较重要。

近年来通用的基于神经网络的语义分割模型越来越完善，但已有方法模型的环境鲁棒性低、分割精度差、无法处理复杂交互情形下的人手分割。

发明内容

本申请提出一种从深度图像中分割人手与交互物体的方法和装置，用于解决相关技术中现有的人手分割模型环境鲁棒性低、分割精度差、无法处理复杂交互情形下的人手分割的问题。

本申请一方面实施例提出了一种从深度图像中分割人手与交互物体的方法，包括：

利用基于颜色图像的分割方法，构建基于深度图像的人手分割数据集；

利用所述基于深度图像的人手分割数据集，训练得到分割模型，所述分割模型由编码器、注意力传递模型和解码器构成；

利用所述分割模型对待处理的深度图像进行分割，获取与所述待处理的深度图像对应的分类标签图，所述分类标签图中每个像素点的值为所述每个像素点的类型值，所述类型值用于表征像素点在所述待处理的深度图像中所属的类型。

本申请实施例的从深度图像中分割人手与交互物体的方法，通过利用基于颜色图像的分割方法，构建基于深度图像的人手分割数据集，利用基于深度图像的人手分割数据集，训练分割模型，分割模型由编码器、注意力传递模型和解码器构成，利用分割模型对待处理的深度图像进行分割，获取与待处理的深度图像对应的分类标签图，分类标签图中每个像素点的值为每个像素点的类型值，根据每个像素点的类型值可以确定每个像素点所属的类型，由此，利用基于深度图像的人手分割数据集通过训练得到的分割模型，利用分割模型对待处理的深度图像进行分割，实现了像素级别的人手与物体分割，提高了环境鲁棒性，分割精度较高、能够处理复杂交互情形下的人手与物体分割的情况。

本申请另一方面实施例提出了一种从深度图像中分割人手与交互物体的装置，包括：

构建模块，用于利用基于颜色图像的分割方法，构建基于深度图像的人手分割数据集；

训练模块，用于利用所述基于深度图像的人手分割数据集，训练得到分割模型，所述分割模型由编码器、注意力传递模型和解码器构成；

识别模块，用于利用所述分割模型对待处理的深度图像进行分割，获取与所述待处理的深度图像对应的分类标签图，所述分类标签图中每个像素点的值为所述每个像素点的类型值，所述类型值用于表征像素点在所述待处理的深度图像中所属的类型。