[发明专利]一种跨模态识别机器人指令的方法及系统

权利要求书

1.一种跨模态识别机器人指令的方法，其特征在于，包括：

S1、将获取的各模态数据作为训练集输入至神经网络中，经过训练确立机器人指令识别模型；

所述机器人指令识别模型包括各模态低级特征提取模型、各模态指令特征提取模型、各模态特征选择模型、特征融合模型；

步骤S1包括以下步骤：

S11、将获取的各模态数据输入至对应的各模态低级特征提取模型中，提取所述各模态数据对应的各模态低级特征，输出所述各模态低级特征；

S12、将所述各模态低级特征输入至对应的各模态指令特征提取模型中，提取所述各模态低级特征对应的各模态指令特征，并将所述各模态指令特征转化为相同维度，输出所述各模态指令特征；

S13、将所述各模态指令特征输入至对应的各模态特征选择模型中，对所述各模态指令特征进行拟合选择，输出各模态拟合选择后的指令特征；

S14、将所述各模态拟合选择后的指令特征输入至特征融合模型中，对所述各模态拟合选择后的指令特征进行特征融合，输出高级指令特征；

S15、将所述高级指令特征输入至识别分类模型中，对所述高级指令特征进行识别分类，并将识别分类结果转译成机器人指令；

S16、获取已标记的真实机器人指令，将所述机器人指令与所述已标记的真实机器人指令输入至判决模型中，计算所述机器人指令与所述已标记的真实机器人指令对应的损失函数，将所述损失函数反馈至各模态低级特征提取模型、各模态指令特征提取模型、各模态特征选择模型；

S17、利用所述损失函数调整各模态低级特征提取模型、各模态指令特征提取模型、各模态特征选择模型的参数，更新各模态低级特征提取模型、各模态指令特征提取模型、各模态特征选择模型；

S2、将待识别的各模态数据输入至所述机器人指令识别模型中，输出机器人指令。

2.根据权利要求1所述的一种跨模态识别机器人指令的方法，其特征在于，所述步骤S11中输入至神经网络中的各模态数据在不同模态之间的数据为一一对应的关系，若缺失其中一个模态的数据，则将该模态置为无。

3.根据权利要求1所述的一种跨模态识别机器人指令的方法，其特征在于，所述步骤S2中输入至机器人指令识别模型的待识别的各模态数据，在不同模态之间的数据为一一对应的关系，若缺失其中一个模态的数据，则将该模态置为无。

4.根据权利要求1所述的一种跨模态识别机器人指令的方法，其特征在于，所述步骤S13中的对所述各模态指令特征进行拟合选择包括：

将所述各模态指令特征进行逐个比较，从各模态指令特征中各选择出一个最接近真实指令特性的指令特征。

5.根据权利要求1所述的一种跨模态识别机器人指令的方法，其特征在于，所述各模态数据包括：

视频数据、语音数据、图像数据、文本数据中的至少两项。

6.根据权利要求5所述的一种跨模态识别机器人指令的方法，其特征在于，若所述模态数据中包括视频数据时，先对将视频数据逐帧拆分成图像数据，或者将视频数据以一定的采样间隔拆分成图像数据，再将处理后的数据输入至机器人指令识别模型。

7.根据权利要求1所述的一种跨模态识别机器人指令的方法，其特征在于，所述各模态低级特征提取模型包括：针对视频数据与图像数据，使用卷积神经网络构成的视频低级特征提取模型与图像低级特征提取模型；

所述各模态指令特征提取模型包括：

针对视频数据与图像数据，使用双流三维卷积神经网络构成的视频指令特征提取模型与图像指令特征提取模型；针对语音序列数据，使用自注意力机制与循环神经网络构成的语音指令特征提取模型；

所述各模态特征选择模型，包括：卷积神经网络与线性方程构成的所述各模态特征选择模型；

所述判决模型，包括：门控循环单元网络与分类器网络构成的所述判决模型。

8.一种基于跨模态识别机器人指令的系统，其特征在于，包括：

各模态数据获取模块，用于获取各模态数据；

各模态特征提取模块，用于将获取的各模态数据输入至对应的各模态低级特征提取模型中，提取所述各模态数据对应的各模态低级特征，输出所述各模态低级特征；将所述各模态低级特征输入至对应的各模态指令特征提取模型中，提取所述各模态低级特征对应的各模态指令特征，并将所述各模态指令特征转化为相同维度，输出所述各模态指令特征；

选择模块，用于将所述各模态指令特征输入至对应的各模态特征选择模型中，对所述各模态指令特征进行拟合选择，输出各模态拟合选择后的指令特征；

融合模块，用于将所述各模态拟合选择后的指令特征输入至特征融合模型中，对所述各模态拟合选择后的指令特征进行特征融合，输出高级指令特征；

识别分类模块，用于将所述高级指令特征输入至识别分类模型中，对所述高级指令特征进行识别分类，并将识别分类结果转译成机器人指令；

判决模块，用于获取已标记的真实机器人指令，计算所述机器人指令与所述已标记的真实机器人指令对应的损失函数；将所述损失函数反馈至各模态特征提取模块中的各模态低级特征提取模型与各模态指令特征提取模型、选择模块中的选择模型；

输出模块，输出所述机器人指令。