[发明专利]一种移动机器人场景理解方法

说明书

本发明提供的是一种移动机器人场景理解方法。视觉系统捕获的场景的单个RGB‑D场景图像作为输入，利用基于与或图的随机语法模型对所述的场景图像进行解析和配置、恢复出场景中被遮挡的物体部分，采用贝叶斯概率模型对物体之间的相对关系以及物体与场景之间的相对关系进行推理，结合先验信息对场景图像进行三维重构，使用最大后验概率估计找到解析和重建图像的最优解，在大规模RGB‑D数据集上将重建的三维场景整体布局与场景的真实情况进行比较。本发明使用物体空间位置关系推理和场景整体布局估计方法，提升复杂场景理解相关算法的性能和效率，实现移动机器人对场景环境的准确理解，推动场景理解算法在智能机器人等相关行业的应用。

技术领域

本发明涉及的是一种物体检测和识别、物体关系检测和物体三维重建方法，具体地说是一种移动机器人场景理解方法。

背景技术

场景理解是基于图像分析的更深层次的物体检测、识别和推理，在图像理解的基础上，通过处理图像数据来获得对图像所反映的场景内容的理解。场景理解的复杂性不仅体现在识别可见物体的能力上，而且体现在预测和解释潜在的不确定信息上，包括推断潜在的人类语境在场景中的功能、重建三维分层几何结构、遵守物理约束并保证物理上合理的场景配置。现阶段智能机器人的场景理解能力与人类的环境理解能力相比还有很大的差距，还需要对场景理解的相关算法和模型进行更为深入的研究。人类对所处环境的理解是在对所观测的信息进行识别的基础上，并结合已有的先验知识进行推理和理解的过程，从而形成自身对环境场景的认知和理解。因此，场景理解算法从感知的场景环境中提取有用信息并结合已有的先验知识实现对场景环境的认知和推理的能力是实现机器人智能化的重要步骤。

发明内容

本发明的目的在于提供一种能够实现移动机器人对场景环境的准确、快速理解的移动机器人场景理解方法。

本发明的目的是这样实现的：

视觉系统捕获的场景的单个RGB-D场景图像作为输入，利用基于与或图的随机语法模型对所述的场景图像进行解析和配置、恢复出场景中被遮挡的物体部分，采用贝叶斯概率模型对物体之间的相对关系以及物体与场景之间的相对关系进行推理，结合先验信息对场景图像进行三维重构，使用最大后验概率估计找到解析和重建图像的最优解，在大规模RGB-D数据集上将重建的三维场景整体布局与场景的真实情况进行比较。

本发明还可以包括：

1.所述的进行解析是使用语法解析图对场景图像进行解析，将场景分为功能空间和几何空间，功能空间是指场景中物体的空间层次结构，几何空间是指场景中的物体实例。

2.所述的对所述的场景图像进行解析和配置包括：场景图像由一个语法解析图表示，该语法由一个分层结构和一个终端节点上的马尔可夫随机场组成，捕捉目标物体和场景空间布局之间的上下文关系，语法解析图的根节点表示场景图像、终端节点表示场景中的实体。

3.所述的对所述的场景图像进行解析和配置还包括：通过三维边界框对场景的空间布局进行建模，并将物体建模为三维实体，给定一组空间坐标和对象假设，搜索场景配置的三维空间，并选择最符合局部表面几何形状的配置。

4.所述的采用贝叶斯概率模型对物体之间的相对关系以及物体与场景之间的相对关系进行推理包括：提取出对象的三维几何、进行三维空间推理，采用场景中物体的近似三维模型，在三维范围内确定物体的位置和尺寸，从而对物体与物体、物体与场景之间的三维交互进行体积推理。

5.所述的结合先验信息对场景图像进行三维重构包括：使用贝叶斯生成统计模型对场景中的实体进行几何建模，对物体的尺寸和位置进行先验设置，先验信息来自于已提供的图像数据集，将场景建模为一组立方体，并根据中心位置和尺寸对场景和目标物体进行参数化，通过对场景图像进行解析与关系推理并结合空间定位机制以实现对整个三维场景的空间布局重构。