[发明专利]基于图像和深度数据进行对象3D定位的计算机实现方法

说明书

本发明涉及一种基于图像数据和深度数据进行对象的3D定位的计算机实现的方法，其方法应用具有第一组连续的层、第二组连续的层和第三组连续的层的卷积神经网络，每个层被配置为具有一个或两个以上滤波器，卷积神经网络被训练为将对对象的识别/分类和所识别/分类的对象的3D定位数据与图像数据项和深度数据项相关联，所述方法包括：应用第一组层从图像数据提取一个或两个以上图像数据特征；应用第二组层从深度数据提取一个或两个以上深度数据特征；融合一个或两个以上图像数据特征和一个或两个以上深度数据特征以获得至少一个融合特征图；应用第三组层处理至少一个融合特征图以对对象进行识别/分类并提供所识别/分类的对象的3D定位数据。

技术领域

本发明涉及图像处理、尤其涉及基于图像和深度数据进行对象的3D定位的领域。

背景技术

对于要与环境互动的服务、家用和工业机器人，由计算机实现的对3D空间中的个体和对象的检测必不可少。最近的进展已基本解决了关于2D图像的单模2D对象识别问题。着重于2D检测还研究了融合多种传感器模式、例如图像和深度数据的不同策略。

但是，这些检测模型的一个具体问题是，如果个体/对象在三维空间中具有不可忽略的空间尺寸，则要定位由图像和深度数据表示的该个体或对象的3D对象参考点、例如3D形心。此外，使用3D地面实况注释用于3D检测的大规模真实世界训练数据集是缺乏且昂贵的，这使得检测模型应特别被配置为能够通过较小的训练数据集进行训练而表现出色的检测质量。

对于基于图像数据的对象识别，诸如YOLO v3一级检测的高性能算法是公知的。YOLO v3算法允许获取对象轮廓数据、例如表示所检测的个体/对象位于其中的2D区域的边界框。但是，由于待检测的个体/对象在深度尺寸上可能也有很大的延伸，因此，许多应用、例如在机器人应用中都需要确定对象边界内的3D对象参考点、例如个体/对象的质心或3D形心。用于2D对象检测的常规算法不提供这样的3D对象参考点。它们还没有充分利用可以使用现有传感器同时获取的附加深度数据。

发明内容

根据本发明，提供了一种基于图像数据和深度数据使用检测模型进行个体或对象的3D定位的计算机实现的方法、一种用于训练这种检测模型的计算机实现的方法、一种根据其他的独立权利要求的系统和移动主体。

在从属权利要求中示出了其他实施例。

根据第一方面，提供了一种基于图像数据和指示由图像数据表示的图像的像素的距离信息的深度数据进行对象的3D定位的计算机实现的方法，其中，所述方法应用具有第一组连续的层、第二组连续的层和第三组连续的层的卷积神经网络，每个层均被配置为具有一个或两个以上滤波器，其中，所述卷积神经网络被训练为能够将对对象的识别/分类和针对所识别/分类的对象的相应的3D定位数据与图像数据项和深度数据项相关联，所述方法包括以下步骤：

-应用所述卷积神经网络的第一组的层从图像数据提取一个或两个以上图像数据特征；

-应用所述卷积神经网络的第二组的层从深度数据提取一个或两个以上深度数据特征；

-融合所述一个或两个以上图像数据特征和所述一个或两个以上深度数据特征，以获得至少一个融合特征图；

-通过应用所述卷积神经网络的第三组的层来对所述至少一个融合特征图进行处理，以对对象进行识别/分类，并提供针对所识别/分类的对象的3D定位数据，其中，所述3D定位数据包括对象参考点数据。

上述方法应用卷积神经网络来从图像数据和深度数据提取3D定位数据。图像和深度数据可以对应于像素矩阵，其中，特别是图像数据可以被设置为RGB数据。对于图像数据，像素通常指示亮度和/或颜色，深度数据指示其每个像素的距离信息。

卷积神经网络被配置为能够分别从图像数据和深度数据单独执行特征提取。这由许多连续的(卷积)层来完成，每个层都具有相关联的一个或两个以上滤波器，使得从提供的输入数据中单独提取图像数据特征和深度数据特征。