[发明专利]3D语义地图构建方法和模块、机器人交互方法和系统

权利要求书

1.一种用于机器人交互中的3D语义地图构建方法，其特征在于，所述3D语义地图构建方法包括：

接收输入的序列图像，并识别出所述序列图像的图像帧中的动态对象和语义信息；

将识别出的所述动态对象从所述序列图像的图像帧中去除；

根据所述动态对象被去除的所述序列图像的图像帧构建3D地图并获取机器人位姿信息；

通过所述机器人位姿信息将与所述语义信息相应的语义图映射到所述3D地图上；

根据映射有所述语义图的所述3D地图构建得到3D语义地图。

2.一种用于机器人交互中的3D语义地图构建模块，其特征在于，所述3D语义地图构建模块包括：

序列图像接收单元，用于接收输入的序列图像；

动态对象识别单元，用于识别出所述序列图像的图像帧中的动态对象；

动态对象去除图像帧单元，用于将识别出的所述动态对象从所述序列图像的图像帧中去除；

3D地图构建单元，用于根据所述动态对象被去除的所述序列图像的图像帧构建3D地图；

机器人位姿信息输出单元，用于根据所述动态对象被去除的所述序列图像的图像帧获取并输出机器人位姿信息；

语义识别单元，用于识别出所述序列图像的图像帧中的语义信息；

语义地图映射单元，用于通过所述机器人位姿信息将所述语义信息相应的语义图映射到所述3D地图上；

3D语义地图构建单元，用于根据映射有所述语义图的所述3D地图得到3D语义地图。

3.一种机器人交互方法，其特征在于，所述机器人交互方法包括：

根据接收到的语音信号获取相应的语音语义信息；

根据所述语音语义信息，并利用权利要求1所述的3D语义地图构建方法构建3D语义地图；

根据所述语音语义信息以及所述3D语义地图控制完成与所述语音语义信息相应的操作。

4.根据权利要求3所述的机器人交互方法，其特征在于，所述根据所述语音语义信息以及所述3D语义地图完成与所述语音语义信息相应的操作，包括：

在3D语义地图中检测到与所述语音语义信息相应的语义图的情况下，获取所述语义图在所述3D语义地图中的第一位置坐标；

根据所述第一位置坐标控制完成对与所述语义图相应的对象的操作。

5.根据权利要求4所述的机器人交互方法，其特征在于，所述根据所述第一位置坐标完成对与所述语义图相应的对象的操作，包括：

根据所述第一位置坐标移动到所述对象位置的特定范围内，并获取机器人当前所在的第二位置坐标；

根据手眼标定信息和所述第一位置坐标完成对所述对象的操作；

根据所述第二位置坐标和初始位置坐标在所述3D语义地图上规划路径，所述初始位置坐标是机器人在接收所述语音信号时的位置坐标；

根据规划的所述路径从所述第二位置坐标返回所述初始位置坐标。

6.根据权利要求5所述的机器人交互方法，其特征在于，在所述根据规划的所述路径从所述第二位置坐标返回所述初始位置坐标之后，所述机器人交互方法还包括：产生并发出操作已完成的语音信息。

7.一种机器人交互系统，其特征在于，所述机器人交互系统包括：传感器装置、控制装置，所述控制装置包括：语音识别模块、3D语义地图构建模块以及决策模块；

所述传感器装置用于接收语音信号，并获取序列图像；

所述语音识别模块用于根据接收到的语音信号获取相应的语音信息；

所述决策模块用于根据所述语音信息获取相应的语音语义信息；

所述3D语义地图构建模块用于根据所述语音语义信息，并利用权利要求1所述的3D语义地图构建方法构建3D语义地图；

所述决策模块还用于根据所述语音语义信息以及所述3D语义地图控制完成与所述语音语义信息相应的操作。