[发明专利]基于自然语言描述的三维场景目标检测建模及检测方法

说明书

本发明公开了一种基于自然语言描述的三维场景目标检测的建模及检测方法。方法包括：①设计语言先验图网络，用于将生成的名词短语及关系短语进行图表示；②构建点云场景中三维目标化外接候选框初始化预测网络；③基于语言先验图更新后的名词短语特征进行引导，对三维目标初始化候选框进行冗余裁剪及更新；④构建三维目标候选框视觉关系图网络；⑤基于更新后的名词短语特征和关系短语特征，分别与视觉关系图的节点和边进行相似性得分匹配，定位最终的三维目标。本发明通过构建语言先验图和视觉关系图，高效地捕获全局上下文依赖关系，同时还开发了交叉跨模态的图匹配策略，避免增加计算量的同时有效地提升大规模三维点云场景的目标定位精度。

技术领域

本发明属于人工智能与计算机视觉领域，具体涉及一种基于自然语言描述的三维场景目标检测建模及检测方法。

背景技术

近年来，随着激光雷达和深度相机等的广泛应用，移动机器人可以更好地获得工作场景的三维信息，基于深度学习的三维点云场景理解引起了很多关注。人类通过自然语言的方式对移动机器人发出指令，移动机器人根据自然语言描述信息在所处的三维场景中定位出目标物体，将大幅度提升移动机器人的智能化水平。依据自然语言描述进行三维点云目标定位存在如何抽象出自由式语言描述关系特征、如何跨模态地对自然语言和三维点云信息进行融合处理等问题。

目前基于文本语言描述引导的三维点云目标检测方法只提取语言描述的全局特征，忽略了自由式语言描述中长距离名词的上下文关系，且没有深度融合跨语言和三维点云模态之间的抽象信息，限制了三维目标定位精度，制约了移动机器人以更智能的方式理解人类自然语言并执行相应的后续任务。

发明内容

本发明的目的在于提供一种基于自然语言描述的三维场景目标检测建模及检测方法，用以解决现有技术中的三维目标定位精度不足的问题。

为了实现上述任务，本发明采用以下技术方案：

一种基于自然语言描述的三维场景目标检测建模方法，包括如下步骤：

步骤一：获取自然语言描述集合和三维场景点云集合，所述的自然语言描述集合中每条自然语言描述包括名词短语集和关系短语集，每条自然语言描述对应三维场景点云集合中的一个三维场景点云，根据每条自然语言描述其对应的三维场景点云进行候选框标注，获得每个三维场景点云的真实目标候选框；

步骤二：根据图网络构建方法获得语言先验图网络和三维目标候选框视觉关系图网络；

步骤三：将自然语言描述集合和三维场景点云集合作为训练集，将所有三维场景点云的真实目标候选框作为标签集，训练语言先验图网络和三维目标候选框视觉关系图网络，将训练好的语言先验图网络和三维目标候选框视觉关系图网络作为基于自然语言描述的三维场景目标检测模型；

所述的图网络构建方法，包括如下步骤：

步骤1：获取自然语言描述，所述的自然语言描述包括名词短语集和关系短语集，对名词短语集和关系短集语进行编码得到名词短语特征集和关系短语特征集；以名词短语为节点，以关系短语为边，以名词短语特征为节点特征并以关系短语特征为边特征构建初始语言先验图网络；

步骤2：采用注意力机制对初始语言先验图网络中每个节点的临近节点的节点特征和边特征进行加权聚合，获得语言先验图网络；

步骤3：获取三维场景点云，所述的三维场景点云与步骤1的自然语言描述相关，采用PointNet++提取三维场景点云的点云特征，根据三维场景点云的点云特征采用VoteNet生成三维场景点云的初始化候选框集合，所述的初始化候选框集合包括多个候选框；

步骤4：通过多层感知机运算提取步骤3得到的初始化候选框集合中每个候选框的目标特征，根据每个候选框的目标特征和步骤2得到的语言先验图网络的每个节点特征计算每个候选框和每个名词短语节点的偏移量；