[发明专利]3D语义地图构建方法和模块、机器人交互方法和系统

说明书

提供了一种用于机器人交互中的3D语义地图构建方法，其包括：接收输入的序列图像，并识别出所述序列图像的图像帧中的动态对象和语义信息；将识别出的所述动态对象从所述序列图像的图像帧中去除；根据所述动态对象被去除的所述序列图像的图像帧构建3D地图并获取机器人位姿信息；通过所述机器人位姿信息将与所述语义信息相应的语义图映射到所述3D地图上；根据映射有所述语义图的所述3D地图构建得到3D语义地图。本发明能够使机器人根据语义信息理解周围环境中的内容，并在周围环境中出现运动物体时也能够具有较高的算法精度和鲁棒性，从而能够实现真正的智能化，并且能够充分高水平的为人类提供服务。

技术领域

本发明属于机器人和图像处理技术领域，具体地讲，涉及一种3D语义地图构建方法和模块、机器人交互方法和系统。

背景技术

随着科技的发展，技术的进步，机器人已逐渐进入人类社会的各个领域。在公共场所也可以看到各种服务机器人，可以通过语音交互的方式查询各种信息。然而，目前的移动服务机器人功能简单，仅仅停留在一问一答的状态，机器人还无法实现真正的智能化，无法理解其所处的周围环境，从而无法充分高水平的为人类提供服务。

移动机器人想要实现智能化的应用，一个关键问题在于实现自主定位和环境感知。在许多涉及到机器人应用的场景中，比如路径规划、环境感知、避障等，定位与建图的过程被视作是先决条件。传统的定位与建图方法构建的地图只是栅格地图或拓扑地图，这些地图无法提供周围环境中物体的语义信息。语义信息在此处泛指机器人对周围环境内容的理解，例如了解环境中的物体类别以及它们的关系等。同时，传统的定位与建图方法只适用于静态环境，当环境中出现运动物体时，运动物体会对算法的精度与鲁棒性造成较大影响，但场景中的运动物体常常不可避免，需对其加以处理。

发明内容

为了解决上述现有技术存在的技术问题，本发明提供了一种能够根据语义信息理解周围环境中的内容，并在周围环境中出现运动物体时也能够具有较高的算法精度和鲁棒性的3D语义地图构建方法、3D语义地图构建模块、机器人交互方法以及机器人交互系统。

根据本发明的实施例的一方面提供的用于机器人交互中的3D语义地图构建方法，其包括：接收输入的序列图像，并识别出所述序列图像的图像帧中的动态对象和语义信息；将识别出的所述动态对象从所述序列图像的图像帧中去除；根据所述动态对象被去除的所述序列图像的图像帧构建3D地图并获取机器人位姿信息；通过所述机器人位姿信息将与所述语义信息相应的语义图映射到所述3D地图上；根据映射有所述语义图的所述3D地图构建得到3D语义地图。

根据本发明的实施例的另一方面提供的用于机器人交互中的3D语义地图构建模块，其包括：序列图像接收单元，用于接收输入的序列图像；动态对象识别单元，用于识别出所述序列图像的图像帧中的动态对象；动态对象去除图像帧单元，用于将识别出的所述动态对象从所述序列图像的图像帧中去除；3D地图构建单元，用于根据所述动态对象被去除的所述序列图像的图像帧构建3D地图；机器人位姿信息输出单元，用于根据所述动态对象被去除的所述序列图像的图像帧获取并输出机器人位姿信息；语义识别单元，用于识别出所述序列图像的图像帧中的语义信息；语义地图映射单元，用于通过所述机器人位姿信息将所述语义信息相应的语义图映射到所述3D地图上；3D语义地图构建单元，用于根据映射有所述语义图的所述3D地图得到3D语义地图。

根据本发明的实施例的又一方面提供的机器人交互方法，其包括：根据接收到的语音信号获取相应的语音语义信息；根据所述语音语义信息，并利用上述的3D语义地图构建方法构建3D语义地图；根据所述语音语义信息以及所述3D语义地图控制完成与所述语音语义信息相应的操作。

在上述又一方面提供的机器人交互方法中，所述根据所述语音语义信息以及所述3D语义地图完成与所述语音语义信息相应的操作，包括：在3D语义地图中检测到与所述语音语义信息相应的语义图的情况下，获取所述语义图在所述3D语义地图中的第一位置坐标；根据所述第一位置坐标控制完成对与所述语义图相应的对象的操作。