[发明专利]装载位置三维坐标获取方法、系统及图像识别设备

权利要求书

1.一种装载位置三维坐标获取方法，其特征在于，包括：

通过摄像头获取装载位置所在场景的RGB图像和深度图像，所述RGB图像和所述深度图像相互配准；

利用深度学习模型对所述RGB图像进行处理，得到所述装载位置的候选区域；

从所述候选区域中筛选出包含所述装载位置的目标区域，并从所述目标区域中提取所述装载位置的图像坐标；

根据所述图像坐标、所述深度图像以及摄像头参数得到所述装载位置的三维坐标。

2.根据权利要求1所述的方法，其特征在于，利用深度学习模型对所述RGB图像进行处理，得到所述装载位置的候选区域的步骤，包括：

将所述RGB图像输入特征提取网络，得到所述RGB图像的特征图；

将所述特征图输入候选区域生成网络，生成多个候选矩形区域；

根据多个所述候选矩形区域对所述特征图进行兴趣区域池化处理，得到多个尺寸相同的特征图；

通过分类回归网络对多个所述尺寸相同的特征图进行分类，得到每个所述候选矩形区域的类别信息，并获取所述候选矩形区域的位置姿态信息；

根据所述类别信息选择所述装载位置的候选区域，同时得到所述候选区域的位置姿态信息。

3.根据权利要求1所述的方法，其特征在于，根据所述图像坐标、所述深度图像以及摄像头参数得到所述装载位置的三维坐标的步骤，包括：

从所述深度图像中获取所述图像坐标的Z坐标，得到摄像头坐标系下的三维坐标；

根据所述摄像头参数将所述摄像头坐标系转换为世界坐标系，得到世界坐标系下的三维坐标。

4.根据权利要求3所述的方法，其特征在于，从所述深度图像中获取所述图像坐标的Z坐标，得到摄像头坐标系下的三维坐标的步骤，包括：

从所述深度图像中获取深度值，并将所述深度值作为Z坐标；其中，所述深度值为以所述图像坐标为中心的预设尺寸的矩形范围内的平均值。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括所述深度学习模型的训练过程，包括：

获取不同型号的装载车在不同场景、不同时间或不同姿态下的RGB图像；

标注每一张所述RGB图像中的装载位置以及姿态信息，其中，所述装载位置包括矩形框，所述姿态信息表示所述矩形框的长边与图像x轴的夹角；

将标注后的RGB图像分为训练集、验证集和测试集，通过优化算法训练得到所述深度学习模型。

6.根据权利要求1所述的方法，其特征在于，通过摄像头获取装载位置所在场景的RGB图像和深度图像的步骤，包括：

通过深度相机的摄像头获取装载位置所在场景的RGB图像和深度图像；其中，所述深度相机至少包括双目相机、结构光相机和TOF深度相机中的一种。

7.一种装载位置三维坐标获取系统，其特征在于，包括：

图像获取模块，用于通过摄像头获取装载位置所在场景的RGB图像和深度图像，所述RGB图像和所述深度图像相互配准；

深度学习模块，用于利用深度学习模型对将所述RGB图像进行处理，得到所述装载位置的候选区域；

筛选模块，用于从所述候选区域中筛选出包含所述装载位置的目标区域，并从所述目标区域中提取所述装载位置的图像坐标；

三维坐标获取模块，用于根据所述图像坐标、所述深度图像以及摄像头参数得到所述装载位置的三维坐标。

8.根据权利要求1所述的系统，其特征在于，所述深度学习模块还用于：

将所述RGB图像输入特征提取网络，得到所述RGB图像的特征图；

将所述特征图输入候选区域生成网络，生成多个候选矩形区域；

根据多个所述候选矩形区域对所述特征图进行兴趣区域池化处理，得到多个尺寸相同的特征图；

通过分类回归网络对多个所述尺寸相同的特征图进行分类，得到每个所述候选矩形区域的类别信息，并获取所述候选矩形区域的位置姿态信息；

根据所述类别信息选择所述装载位置的候选区域，同时得到所述候选区域的位置姿态信息。