[发明专利]一种多模态人机交互方法及装置

说明书

本发明提供了一种多模态人机交互方法及装置，包括：获取来自用户的交互文本信息；根据交互文本信息预测过渡语；根据过渡语获取对应的多模态内容，将其作为第一回复内容，将第一回复内容推送至虚拟人客户端；根据交互文本信息的答复文本信息生成对应的多模态内容，将其作为第二回复内容，将所述第二回复内容推送至虚拟人客户端。本发明通过在正式回复内容之前插入过渡语，对答复文本信息分段处理，将一轮回复变成多轮回复，提高了虚拟人的响应速度，实现了顺畅的人机交互体验。

技术领域

本发明涉及人机交互领域，尤指一种多模态人机交互方法及装置。

背景技术

语音交互一般经过语音识别、语义处理、语音合成等流程环节。虚拟人的人机交互不仅仅只有语音信息，还包含了其他诸如口型、表情、动作等多种模态的信息交互。

虚拟人的人机交互一般包括三个环节：语音识别(Auto Speech Recgnition,ASR)、语义理解(Natural Language Understanding,NLU)和多模态生成(Multi-ModalLanguage Generation,MMLG)。语音识别用于获取与用户语音信息对应的交互文本信息。语义理解用于获取与交互文本信息对应的答复文本信息。多模态生成用于生成与答复文本信息对应的多模态内容。其中多模态生成包含了语音合成、口型对齐生成、动作对齐生成等。

常规的交互流程为：经语音识别、语义理解，确定答复文本信息；再一次性将答复文本信息的多模态内容生成好，再推送给虚拟人，虚拟人按照收到的多模态内容进行响应。若答复容量大，则在多模态生成阶段需要计算的内容较多，处理时间长，导致虚拟人响应回复慢，无法满足顺畅的人机交互体验。

为了提高虚拟人说话的响应速度，减小多模态生成的处理时间，有一种方法是，对多模态内容进行缓存。将多模态生成的内容进行预先缓存，这样进行交互时，虚拟人直接取缓存中的内容回复即可，从而提高响应速度。但是该方法只能针对预先设定好的答案进行缓存，若是遇到新的答案，还是需要临时生成多模态信息，当答复内容多时，还是会导致虚拟人响应慢。

发明内容

本发明的目的之一是为了克服现有技术中存在的至少一种不足，提供一种多模态人机交互方法及装置。

本发明提供的技术方案如下：

一种多模态人机交互方法，包括：获取来自用户的交互文本信息；根据所述交互文本信息预测过渡语；根据所述过渡语获取对应的多模态内容，将其作为第一回复内容，将所述第一回复内容推送至虚拟人客户端；根据所述交互文本信息的答复文本信息生成对应的多模态内容，将其作为第二回复内容，将所述第二回复内容推送至虚拟人客户端。

进一步地，在预测过渡语之前，还包括：确定所述交互文本信息的答复文本信息；所述的根据所述交互文本信息预测过渡语包括：若所述答复文本信息不为预设文本，则根据所述交互文本信息和所述答复文本信息，预测与所述交互文本信息相匹配的过渡语。

进一步地，还包括：若所述答复文本信息为预设文本，则从预设缓存中获取所述预设文本的多模态内容，将其作为第二回复内容，将所述第二回复内容推送至虚拟人客户端。

进一步地，预先设置若干过渡语及每个过渡语对应的多模态内容；

所述的根据所述交互文本信息预测过渡语包括：从预先设置的所有过渡语中选择与所述交互文本信息相匹配的过渡语；所述的根据所述过渡语获取对应的多模态内容包括：从预设设置的所有过渡语的多模态内容中获取与所述交互文本信息相匹配的过渡语对应的多模态内容。

进一步地，所述的根据所述交互文本信息的答复文本信息生成对应的多模态内容，将其作为第二回复内容，将第二回复内容推送至虚拟人客户端，包括：