[发明专利]图像处理系统和方法

说明书

一种确定三维场景中的多个对象中的每一者的姿态的计算机实现的方法包括：对于多个对象中的每个给定对象：获得表示三维场景的视图的图像数据和相关联深度信息，在该视图中给定对象的至少一部分是可见的；以及处理图像数据和相关联深度信息以估计给定对象的姿态。该方法进一步包括迭代地更新多个对象的估计姿态，其中更新包括：针对多个对象中的每个给定对象，从根据给定对象的估计姿态转换的给定对象的预定模型中采样多个点；根据从给定对象的预定模型中采样的点相对于包含给定对象的体素网格的位置确定多个对象中的每个给定对象的相应第一占用数据；根据从多个对象中的其它对象的预定模型中采样的点相对于包含给定对象的体素网格的位置确定多个对象中的每个给定对象的相应第二占用数据；并根据多个对象中的每一者的相应第一占用数据和相应第二占用数据来更新多个对象的估计姿态以减少占用罚分。

技术领域

本发明涉及处理图像数据和相关联深度信息以确定三维场景中的对象的姿态。

背景技术

在其中机器人被用于操纵环境中的物理对象或以其它方式与环境中的物理对象交互的情况下，重要的是机器人要精确地确定所述物理对象相对于给定坐标系的位置和取向。此任务被称为姿态预测。姿态预测与许多其它领域相关，例如在用于自动车辆的自动驾驶系统(ADS)或高级驾驶员辅助系统(ADAS)中，其中知道实体(诸如车辆或行人)的姿态对于预测该实体将有怎么样的行为是有用的。

姿态预测方法的一些最早的示例是基于模板的方法，其中由在离线训练阶段期间从不同视点拍摄的图像导出对象的模板，然后在测试时间扫描包含所述对象的图像，以根据预定的距离度量找到最佳匹配。进一步的示例包括基于稀疏特征的方法，其中在训练时间从对象的图像中提取尺度不变的关注点，并且所述关注点与诸如SIFT或SURF的局部描述符相关联。采用诸如RANSAC的方法在测试时间将局部描述符与包含所述对象的图像进行匹配。

传感器技术的最新进展包括例如立体相机、红外相机、声音导航测距(声纳)以及光探测和测距(激光雷达)系统，它们允许将准确的深度信息与常规的二维图像一起捕获，例如从而产生RGB-D图像格式。某些姿态预测方法利用此深度信息来提高精确度。示例包括密集方法，其中在测试时间构建用于对象的三维点云，然后使用诸如迭代最近点(ICP)的算法与所述对象的存储模型匹配。进一步的示例包括混合方法，其同时使用神经网络处理点云信息并且使用卷积神经网络(CNN)处理RGB图像数据，然后融合网络的输出，以导出可用于姿态估计的逐像素密集特征嵌入。

在其中环境中的多个对象彼此相接触的情况下，或者所述对象中的一些被部分遮挡的情况下，采用任何上述方法进行姿态预测的精确度通常降低。在机器人应用的情况下，这种降低的精确度可能会削弱机器人的性能，特别是在杂乱或其他人口密集的环境中。

发明内容

根据第一方面，提供了一种确定三维场景中的多个对象中的每一者的姿态的计算机实现的方法。所述方法包括对于所述多个对象中的每个给定对象，获得表示所述三维场景的视图的图像数据和相关联深度信息，在所述视图中所述给定对象的至少一部分是可见的；以及处理所述图像数据和所述相关联深度信息以估计所述给定对象的姿态。所述方法进一步包括迭代地更新所述多个对象的所述估计姿态，其中所述更新包括：针对所述多个对象中的每个给定对象，从根据所述给定对象的所述估计姿态转换的所述给定对象的预定模型中采样多个点；根据从所述给定对象的所述预定模型中采样的点相对于包含所述给定对象的体素网格的位置确定所述多个对象中的每个给定对象的相应第一占用数据；根据从所述多个对象中的其它对象的预定模型中采样的点相对于包含所述给定对象的所述体素网格的位置确定所述多个对象中的每个给定对象的相应第二占用数据；并根据所述多个对象中的每一者的所述相应第一占用数据和所述相应第二占用数据来更新所述多个对象的所述估计姿态以减少占用罚分(occupancy penalty)。

使用取决于从目标对象的预定模型中采样的点的位置的第一占用数据和第二占用数据来定义占用罚分允许递增更新所述目标对象的估计姿态，以避免其中所述对象中的两者或更多者彼此相交的物理上不切实际的预测。