[发明专利]用于智能机器人的多模态交互方法及装置

说明书

本发明提供一种用于智能机器人的多模态交互方法和装置。其中，该方法包括以下步骤：获取用户的多模态输入信息；解析多模态输入信息中所涉及物体或话题；获取该用户对该物体或该话题产生的脑电波信息，确定多模态人机交互策略，输出对应的多模态输出数据，所述脑电波信息携带用户情绪信息。本发明通过基于脑电波确定的人机交互策略，结合该策略进行交互，可以增加交互话题，改善用户不良情绪，提高智能机器人的智能性和类人性，增强用户粘性。

技术领域

本发明涉及智能机器人领域，具体地说，涉及一种智能机器人的多模态交互方法及装置。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素，因此，提高智能机器人的人机交互能力，提升智能机器人的智能性，成为目前亟需解决的重要问题。

发明内容

本发明的目的在于解决现有技术的上述问题，提供一种用于智能机器人的多模态交互方法。所述方法包括以下步骤：

获取用户的多模态输入信息；

解析多模态输入信息中所涉及物体信息或话题信息；

获取该用户对该物体或该话题产生的脑电波信息，确定多模态人机交互策略，输出对应的多模态输出数据，所述脑电波信息携带用户情绪信息。

根据本发明的用于智能机器人的多模态交互方法，优选的是，还包括通过如下步骤来预设多模态人机交互策略，

预先采集用户在训练环境中的视觉信息、听觉信息和脑电波信息；

对所述脑电波信息进行解析，确定用户的情绪；

对视觉信息和听觉信息中涉及到的物体或话题进行基于情绪的标记，以生成关于物体或话题多模态输出的策略信息。

根据本发明的用于智能机器人的多模态交互方法，优选的是，还包括：

在输出多模态输出数据之后，采集用户对所述多模态输出数据反馈的脑电波信息，以获取该用户的反馈情绪；

将用户反馈的情绪重新确定多模态人机交互策略，输出相匹配的多模态输出数据。

根据本发明的用于智能机器人的多模态交互方法，优选的是，还包括：

获取用户当前情绪状态并根据情绪状态对所述预设的多模态人机交互策略进行调整；

所述情绪状态通过采集脑电波信息方式获取。

根据本发明的用于智能机器人的多模态交互方法，优选的是，所述的脑电波信息采用EEG设备采集。

根据本发明的另一方面，还提供了一种用于智能机器人的多模态交互装置，所述装置包括以下模块：

多模态信息输入模块，其用以获取用户的多模态输入信息；

多模态信息解析模块，其用以解析多模态输入信息中所涉及物体信息或话题信息；

多模态信息输出模块，其用以获取该用户对该物体或该话题产生的脑电波信息，确定多模态人机交互策略，输出对应的多模态输出数据，所述脑电波信息携带用户情绪信息。

根据本发明的用于智能机器人的多模态交互装置，优选的是，还包括策略预设模块，其预设多模态人机交互策略，该模块进一步包括如下单元：

信息采集单元，其用以预先采集用户在训练环境中的视觉信息、听觉信息和脑电波信息；