[发明专利]基于实例分割和双目深度估计的目标姿态识别系统与方法

权利要求书

1.一种基于实例分割和双目深度估计的目标姿态识别系统，其特征在于，包括：

双目相机摄像机模块，所述双目相机摄像机模块包括一个设置于试验台上特定位置的双目相机，通过所述双目相机摄像机模块得到包含目标物体的两幅存在差异的场景图像；

数据预处理模块，所述数据预处理模块对所述两幅场景图像进行预处理，所述预处理包括降噪；

实例分割模块，所述实例分割模块接收经过预处理的所述两幅场景图像，使用实例分割模型进行实例分割，得到所述目标物体的两幅掩码图；

物体5D位姿估计模块，所述物体5D位姿估计模块获得所述目标物体的5D位姿估计，所述5D位姿估计包括所述目标物体在x轴、y轴方向上的角度信息、深度信息以及在x轴、y轴上的位置信息；

所述目标物体的所述深度信息是根据所述两幅场景图像存在的差异得到，所述目标物体在x轴、y轴上的所述位置信息是根据所述双目相机的参数得到；

所述目标物体在y轴方向上的角度信息是将实例分割后的所述目标物体的轮廓按行划分为若干行；在每一行里面，随机划分出若干列，得到很多个规格不一样的小区域A_i，通过计算每一列上下两个像素点的位置信息和深度信息，得到高度差和深度差，便可以得到所述小区域A_i的角度信息；

在小区域A_P中有两个点为P_T,P_B，则所述小区域A_P的角度信息计算如式(8)所示：

其中，θ_y为所述小区域A_P的角度信息，为点P_T的位置信息，为点P_B的位置信息，为所述高度差，为点P_T的深度信息，为点P_B的深度信息，为所述深度差；

将得到的所述目标物体的轮廓用最小矩形拟合，通过拟合的所述最小矩形可以求得所述目标物体在x轴方向上的角度信息。

2.如权利要求1所述的基于实例分割和双目深度估计的目标姿态识别系统，其特征在于，所述实例分割模型为基于神经网络的模型。

3.如权利要求1所述的基于实例分割和双目深度估计的目标姿态识别系统，其特征在于，还包括位姿信息传输模块，所述位姿信息传输模块将得到的所述目标物体的所述5D位姿估计传递给机械臂，用于帮助所述机械臂抓取所述目标物体。

4.如权利要求1所述的基于实例分割和双目深度估计的目标姿态识别系统，其特征在于，通过TCP/IP通信和ROS平台向机械臂传送所述目标物体的所述5D位姿信息。