[发明专利]一种跨模态识别机器人指令的方法及系统

说明书

本申请提供了一种跨模态识别机器人指令的方法与系统，包括：将获取的各模态数据作为训练集输入至神经网络中，经过训练确立机器人指令识别模型；将待识别的各模态数据输入至所述机器人指令识别模型中，输出机器人指令。本发明提供的方法及系统，可以基于跨模态准确地识别出机器人指令，训练模型所需的训练集数据量小，在输入中缺失任一模态或任一模态数据不平衡的情况下，本方法与系统仍能正常识别出机器人指令，人工标记的工作量小，实用性较强。

技术领域

本发明涉及信息技术领域，尤其涉及一种跨模态识别机器人指令的方法及系统。

背景技术

随着机器人技术的不断发展，智能机器人逐渐被运用至人们的日常生活中。机器人需要根据从视频或语音不同跨模态中识别出的指令执行相应的动作。

现有的跨模态识别方法主要为以下三种：一是基于跨模态特征融合进行指令识别的方法；二是跨模态在特定少数指令上的指令识别的方法；三是基于跨模态局部特征的融合识别指令的方法。基于跨模态特征融合进行指令识别的方法需要同时拥有庞大视频和音频数据集，并且如果任意一种模态的数据较少或者缺失，都将导致系统无法使用。跨模态在特定少数指令上的指令识别的方法虽然需求的数据量较少，但是在真实使用场景中的人机交互性并不好，而且稳定性较差。基于跨模态局部特征的融合识别指令虽然在一些场景下能取得较好成绩，但是他们所需要的人工标记工作量巨大，不太可能在现实场景中使用。

发明内容

基于此，本发明提供一种跨模态识别机器人指令的方法及系统，即使缺失任一模态，或者在数据不平衡的条件下也可以实现机器人指令的识别与提取。

为了达到上述发明目的，本申请采用如下技术方案：

第一方面，本申请公开一种跨模态识别机器人指令的方法，包括：

S1、将获取的各模态数据作为训练集输入至神经网络中，经过训练确立机器人指令识别模型；

S2、将待识别的各模态数据输入至所述机器人指令识别模型中，输出机器人指令。

优选地，所述步骤S1中，所述机器人指令识别模型具体包括：

各模态低级特征提取模型、各模态指令特征提取模型、各模态特征选择模型、特征融合模型。

优选地，所述步骤S1中，所述将获取的各模态数据作为训练集输入至神经网络中，经过训练确立机器人指令识别模型，包括：

S11、将获取的各模态数据输入至对应的各模态低级特征提取模型中，提取所述各模态数据对应的各模态低级特征，输出所述各模态低级特征；

S12、将所述各模态低级特征输入至对应的各模态指令特征提取模型中，提取所述各模态低级特征对应的各模态指令特征，并将所述各模态指令特征转化为相同维度，输出所述各模态指令特征；

S13、将所述各模态指令特征输入至对应的各模态特征选择模型中，对所述各模态指令特征进行拟合选择，输出各模态拟合选择后的指令特征；

S14、将所述各模态拟合选择后的指令特征输入至特征融合模型中，对所述各模态拟合选择后的指令特征进行特征融合，输出高级指令特征；

S15、将所述高级指令特征输入至识别分类模型中，对所述高级指令特征进行识别分类，并将识别分类结果转译成机器人指令；

S16、获取已标记的真实机器人指令，将所述机器人指令与所述已标记的真实机器人指令输入至判决模型中，计算所述机器人指令与所述已标记的真实机器人指令对应的损失函数，将所述损失函数反馈至各模态低级特征提取模型、各模态指令特征提取模型、选择模型；

S17、利用所述损失函数调整各模态低级特征提取模型、各模态指令特征提取模型、选择模型的参数，更新各模态低级特征提取模型、各模态指令特征提取模型、选择模型。