[发明专利]一种物体姿态估计方法、装置、系统和计算机设备

说明书

本申请涉及一种物体姿态估计方法、装置、系统和计算机设备，其中，该物体姿态估计方法包括：通过获取目标物体的二维图像，将所述二维图像输入神经网络模型，获得所述目标物体的姿态，其中，采用训练物体的二维图像训练所述神经网络模型，且采用所述二维图像和所述训练物体的深度图像确定所述训练物体的三维模型，并根据所述训练物体的实际尺寸预设三维包围框，根据所述三维包围框对所述三维模型进行标注，解决了相关技术中使用全卷积网络提取每个目标物体三维包围盒八个顶点在二维图像上的热力图，再通过使用PnP的方法计算目标物体的6D姿态估计，存在目标物体的6D姿态估计不精确的问题，提高了目标物体的6D姿态估计精确度。

技术领域

本申请涉及神经网络技术领域，特别是涉及一种物体姿态估计方法、装置、系统和计算机设备。

背景技术

姿态估计问题就是确定某一三维目标物体的方位指向问题，姿态估计在机器人视觉、动作跟踪和单照相机定标等很多领域都有应用，物体的姿态也称为6D信息，即位置信息x、y、z和角度信息Pitch、Roll、Yaw，其中，pitch是围绕X轴旋转，也叫做俯仰角，yaw是围绕Y轴旋转，也叫偏航角，roll是围绕Z轴旋转，也叫翻滚角。

在相关技术中，基于热力图的物体姿态估计方法通过区域生成网络(RegionProposal Network，简称RPN网络)提取多个目标物体的候选框，通过全卷积网络(FullyConvolutional Networks，简称FCN网络)提取每个目标物体三维包围盒八个顶点在二维图像上的热力图，然后再通过使用迭代法(Perspective-n-Point，简称PnP)计算目标物体的6D姿态估计，并通过使用3D形状数据集也就是ShapeNet作为CAD模型库来合成大量的训练数据，但是由于三维包围盒的点在目标物体的外面，使得三维包围盒的点并不能真实反映目标物体的位置，进而存在目标物体的6D姿态估计不精确的情形。

目前针对相关技术中使用全卷积网络提取每个目标物体三维包围盒八个顶点在二维图像上的热力图，再通过使用PnP的方法计算目标物体的6D姿态估计，存在目标物体的6D姿态估计不精确的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种物体姿态估计方法、装置、系统和计算机设备，以至少解决相关技术中使用全卷积网络提取每个目标物体三维包围盒八个顶点在二维图像上的热力图，再通过使用PnP的方法计算目标物体的6D姿态估计，存在目标物体的6D姿态估计不精确的问题。

第一方面，本申请实施例提供了一种物体姿态估计方法，所述方法包括：

获取目标物体的二维图像；

将所述二维图像输入神经网络模型，获得所述目标物体的姿态，其中，采用训练物体的二维图像训练所述神经网络模型，且采用所述二维图像和所述训练物体的深度图像确定所述训练物体的三维模型，并根据所述训练物体的实际尺寸预设三维包围框，根据所述三维包围框对所述三维模型进行标注。

在其中一些实施例中，所述采用训练物体的二维图像训练所述神经网络模型包括：

对所述三维模型做掩膜处理，确定所述训练物体的掩膜图像和三维坐标图；

将所述二维图像作为训练数据，所述掩膜图像和所述三维坐标图作为监督数据，训练所述神经网络模型。

在其中一些实施例中，将所述二维图像作为训练数据，所述掩膜图像和所述三维坐标图作为监督数据，训练所述神经网络模型包括：

建立基于物体检测算法、映射关系和PnP算法的所述神经网络模型，其中，采用物体检测算法确定所述二维图像中所述训练物体的检测框，并将所述检测框切出来生成用于训练所述映射关系的所述二维图像，通过编解码网络拟合所述二维图像到所述三维坐标图的所述映射关系，并通过所述映射关系处理所述二维图像，以获得与所述二维图像对应的预测三维坐标图，且通过所述PnP算法处理所述预测三维图，以确定与所述二维图像相对应的位姿；