[发明专利]物体姿态估计模型训练方法、系统、装置及介质

权利要求书

1.一种物体姿态估计模型的训练方法，其特征在于，包括以下步骤：

获取含待估计物体的RGB图像和深度图像，输入所述姿态估计模型；所述姿态估计模型包括分割提取模块、稠密对应映射模块和姿态估计输出模块；

根据所述RGB图像和所述深度图像，通过所述分割提取模块分割得到物体的掩膜，确定分割过程中的第一损失值，并提取所述掩膜覆盖区域的像素级特征；

通过所述稠密对应映射模块将所述像素级特征映射到物体坐标系，确定映射过程中的第二损失值，并基于映射后的像素级特征得到像素对特征；

根据所述像素对特征，通过所述姿态估计输出模块对所述物体进行姿态估计，得到姿态估计结果，确定姿态估计过程中的第三损失值；

根据所述第一损失值、第二损失值和第三损失值，对所述姿态估计模型的参数进行训练更新；

所述基于映射后的像素级特征得到像素对特征，包括：

将经过稠密对应映射处理的像素级特征分成两个互斥子集，从这两个互斥子集中分别随机挑选像素级特征进行两两配对，并将配对后的像素级特征送入到低秩双线性池化层得到像素对特征；所述低秩双线性池化层的处理逻辑如下：

式中，a、b表示一对像素级特征；f(a,b)表示处理a、b得到的像素对特征；P、U、V表示用于双线性池化f(a,b)＝a^TWb中系数矩阵W的低秩矩阵；σ表示非线性激活函数；表示哈达马乘积。

2.根据权利要求1所述的方法，其特征在于：所述分割提取模块包括卷积神经网络；

所述通过所述分割提取模块分割得到物体的掩膜，确定分割过程中的第一损失值步骤，包括：

通过所述卷积神经网络对所述RGB图像进行分割，得到物体的掩膜；

根据所述掩膜和物体真实掩膜，确定第一损失值。

3.根据权利要求2所述的方法，其特征在于：所述分割提取模块还包括点云神经网络；

所述提取所述掩膜覆盖区域的像素级特征步骤，包括：

通过所述卷积神经网络提取所述RGB图像中所述掩膜覆盖区域的像素的颜色特征；

通过所述点云神经网络提取所述深度图像中与掩膜覆盖区域对应位置的像素的几何特征；

将对应位置的像素的所述颜色特征和所述几何特征进行融合处理，得到所述像素的像素级特征。

4.根据权利要求1所述的方法，其特征在于：所述稠密对应映射模块包括多层感知机；所述多层感知机用于将所述像素级特征映射到物体坐标系，得到所述像素级特征对应的三维坐标。

5.根据权利要求1所述的方法，其特征在于，所述基于映射后的像素级特征得到像素对特征步骤，包括：

将所述像素级特征分为两个子集，两个所述子集互斥；

从两个所述子集中选择像素级特征进行配对，并通过低秩双线性池化得到像素对特征。

6.根据权利要求1所述的方法，其特征在于，所述姿态估计输出模块包括第一神经网络和级联的多个相同的第二神经网络；

所述通过姿态估计输出模块对所述物体进行姿态估计，得到姿态估计结果步骤，包括：

根据所述像素对特征，通过第一神经网络对所述物体进行姿态估计，得到初始姿态估计结果；

将所述掩膜覆盖区域的像素的颜色特征和所述初始姿态估计结果输入到级联的各个第二神经网络，得到姿态估计的各个改进结果；

根据所述初始姿态估计结果和各个所述改进结果，得到所述姿态估计结果。

7.根据权利要求6所述的方法，其特征在于，所述确定姿态估计过程中的第三损失值步骤，包括：

根据所述初始姿态估计结果和物体的真实姿态，确定第四损失值；

根据所述改进结果和物体的真实姿态，确定第五损失值；

以所述第四损失值和第五损失值之和作为姿态估计过程中的所述第三损失值。