[发明专利]信息交互方法、装置、设备及存储介质

说明书

本申请公开了一种信息交互方法、装置、设备及存储介质，本申请预先利用跨语种、跨场景的多模态训练数据及场景知识图谱库，通过无监督的方式训练得到回复生成模型，进而在获取到当前交互场景下的多模态数据之后，可以参考场景知识图谱库，利用回复生成模型处理多模态数据，进而输出用于进行交互的回复信息，实现人机交互过程。由于本申请的回复生成模型利用跨语种、跨场景的多模态训练数据训练完成，因此回复生成模型可以适用于跨语种、跨场景的交互过程，无需针对不同语种、不同场景单独构建不同的交互系统，介绍了系统开发、部署难度。

技术领域

本申请涉及人机交互技术领域，更具体的说，是涉及一种信息交互方法、装置、设备及存储介质。

背景技术

随着语音识别和自然语言理解技术的进步，在车载、企业、医疗等多个场景下，人机交互终端已经从实验变成现实。

然而当前的交互系统都是基于单一场景单一语种的实现，即在不同交互场景，如车载、医疗等，都需要针对不同的场景分别设计一套交互系统。且针对不同国家的不同人群习惯，语音交互系统是不通用的，都需要针对特定语种特定人群特定场景单独的设计一套交互系统，系统开发量大难以部署。

发明内容

鉴于上述问题，提出了本申请以便提供一种信息交互方法、装置、设备及存储介质，以支持跨语种、跨场景的情况下进行人机交互。具体方案如下：

一种信息交互方法，包括：

获取当前交互场景下的多模态数据，所述多模态数据包括人机交互过程的视频信息、音频信息和/或文本信息；

参考预配置的场景知识图谱库，基于预训练的回复生成模型处理所述多模态数据，输出用于进行交互的回复信息，所述场景知识图谱库中包含与各不同场景一一对应的场景知识图谱；

所述回复生成模型利用跨语种、跨场景的多模态训练数据及所述场景知识图谱库通过无监督的方式训练得到。

优选地，所述回复生成模型的训练过程，包括：

获取跨语种、跨场景的多模态训练数据，以及预配置的场景知识图谱库；

将所述多模态训练数据所包含的视频信息、音频信息和文本信息进行对齐；

以对齐后的多模态训练数据作为样本输入，参考所述场景知识图谱库，以预测所述多模态训练数据包含的文本信息中被遮挡的字符为目标，训练回复生成模型。

优选地，所述将所述多模态训练数据所包含的视频信息、音频信息和文本信息进行对齐，包括：

对所述视频信息中各视频帧进行特征提取，得到所述视频信息对应的视频特征向量；

对所述视频特征向量进行离散化表示，得到与所述文本信息中各字符一一对齐的视频特征向量；

对所述音频信息中各语音帧进行特征提取，得到所述音频信息对应的音频特征向量；

对所述音频特征向量进行离散化表示，得到与所述文本信息中各字符一一对齐的音频特征向量。

优选地，所述以对齐后的多模态训练数据作为样本输入，参考所述场景知识图谱库，以预测所述多模态训练数据包含的文本信息中被遮挡的字符为目标，训练回复生成模型，包括：

利用回复生成模型对输入的所述对齐后的多模态训练数据所包含的视频信息、音频信息和文本信息进行拼接，得到拼接特征；

基于所述拼接特征从所述场景知识图谱库中选择适配的场景知识图谱，并将选择的场景知识图谱表示为知识图谱向量特征；

利用回复生成模型，基于所述拼接特征及所述知识图谱向量特征，预测所述文本信息中被遮挡的字符；