[发明专利]深度学习与几何算法结合的非合作目标相对位姿估计方法

权利要求书

1.一种深度学习与几何算法结合的非合作目标相对位姿估计方法，其特征在于，包括如下步骤：

S1：选择非合作目标的M个点作为关键点，利用M个关键点及其真实2D像素坐标，通过多视图三角剖分计算获得关键点3D坐标，重建非合作目标三维模型；

S2：利用真实姿态将步骤S1中获得的关键点3D坐标重投影到图像平面，获得关键点2D坐标估计值；

S3：设计目标检测和语义分割网络，预测非合作目标周围的2D边界框，获得预测2D边界框，再在预测2D边界框内进行像素级分割，识别出属于非合作目标的像素并进行分割；

S4：设计关键点回归网络，并利用步骤S2中获得的关键点2D坐标估计值和步骤S3中获得的预测2D边界框共同监督训练所述关键点回归网络，回归得到非合作目标的关键点2D坐标预测值；

S5：利用步骤S4中回归得到的关键点2D坐标预测值和步骤S1中获得的关键点3D坐标，建立2D-3D坐标对应关系，并且利用非线性优化的方式，构建最小二乘问题并迭代求解，估计非合作目标姿态；

S6：选择评价指标评价步骤S5中的非合作目标姿态估计结果。

2.根据权利要求1所述的方法，其特征在于，步骤S1具体过程如下：

S11：将航天器姿态估计数据集SPEED按照2：8的比例划分为训练集和交叉验证集；

S12：选择非合作目标的M个点作为关键点，从训练集中手动选择N张图像并且手动标注图像中非合作目标的M个2D关键点；

S13：利用步骤S12中手动标注的2D关键点，结合其在对应图像中的真实2D像素坐标和相机的内在特性，通过式(1)的多视图三角剖分计算获得关键点3D坐标，实现非合作目标三维模型的重建：

其中，表示第j个关键点的真实2D像素坐标；表示第j个关键点3D坐标；表示用齐次坐标表示；K为相机的包括内参矩阵在内的投影变换矩阵；T_i表示第i个图像的真实姿态，T_i＝(R_i,t_i)，R_i为第i个图像的四元数真实值构成的旋转矩阵，t_i为第i个图像的真实位移向量。

3.根据权利要求2所述的方法，其特征在于，步骤S2中的重投影为：

其中，为第j个关键点2D坐标估计值。

4.根据权利要求1所述的方法，其特征在于，步骤S3具体过程如下：

S31:基于Cascade Mask R-CNN框架设计目标检测与语义分割网络，具体过程如下：

1)通过CNN模块提取网络全局特征图，所述CNN模块采用多分辨率信息融合的方式，多分辨率子网并行连接，每个高分辨率到低分辨率的子网连续不断地从其他并行子网接收不同的比例信息；2)添加RPN模块，进行前景和背景二分类以及候选边界框坐标回归，以获得多个候选2D边界框；3)设计ROI layer层，采用NMS从候选2D边界框中获得准确的2D边界框；4)在得到2D边界框的特征后，增加一个Mask分支来预测2D边界框区域内每一个像素的类别，利用卷积与反卷积构建端到端的网络，对每一个像素分类，实现目标像素级别的分割；

S32:训练所设计的目标检测与语义分割网络；

采用已知真实2D边界框的图像训练目标检测与语义分割网络，在获得多个候选边界框的情况下，利用非极大值抑制获得预测2D边界框的位置；使用小批量梯度下降算法训练所设计的目标检测与语义分割网络，损失函数为：

其中，N_batch表示一个训练批次有N张图像；表示检测出的锚框索引；为第个锚框作为目标2D边界框的概率；表示第个锚框中目标是否存在，若存在，则等于1，否则等于0；表示预测2D边界框坐标构成的向量，包括2D边界框的左上角和右下角坐标值；为真实2D边界框坐标构成的向量；L_cls为二分类时的交叉熵损失函数；L_reg为回归损失函数，位置回归采用稳定的Smooth L₁函数；λ为平衡因子，平衡分类损失函数和回归损失函数在总损失函数中的权重；

训练完成后，对训练好的目标检测与语义分割网络进行测试，输入测试图像，网络输出带有预测2D边界框的图像。