[发明专利]用于智能机器人的多模态交互方法及装置

权利要求书

1.一种用于智能机器人的多模态交互方法，其特征在于，所述方法包括以下步骤：

获取用户的多模态输入信息；

解析多模态输入信息中所涉及物体信息或话题信息；

获取该用户对该物体或该话题产生的脑电波信息，根据所述脑电波信息对应的情绪信息从预设的关于该用户的多模态人机交互策略中查找对应的多模态输出数据，按照预设优先级输出最匹配当前情绪的多模态输出数据，以改善用户不良情绪，其中，

预先采集用户在训练环境中的用于诱发不同情绪的视觉信息和听觉信息、以及在相应信息刺激下产生的脑电波信息；

对所述脑电波信息进行解析，确定用户的情绪；

根据用户情绪对不同物体或话题进行分类，并按照喜好/讨厌程度对物体或话题设定优先级，基于这些信息进行深度学习，生成基于所述用户的关于物体或话题多模态输出的策略信息，

在输出多模态输出数据之后，采集用户对所述多模态输出数据反馈的脑电波信息，以获取该用户的反馈情绪；

将用户反馈的情绪重新确定多模态人机交互策略，输出相匹配的多模态输出数据。

2.如权利要求1所述的用于智能机器人的多模态交互方法，其特征在于，还包括：

获取用户当前情绪状态并根据情绪状态对所述预设的关于该用户的多模态人机交互策略进行调整；

所述情绪状态通过采集脑电波信息方式获取。

3.如权利要求1或2所述的用于智能机器人的多模态交互方法，其特征在于，所述的脑电波信息采用EEG设备采集。

4.一种用于智能机器人的多模态交互装置，其特征在于，所述装置包括以下模块：

多模态信息输入模块，其用以获取用户的多模态输入信息；

多模态信息解析模块，其用以解析多模态输入信息中所涉及物体信息或话题信息；

多模态信息输出模块，其用以获取该用户对该物体或该话题产生的脑电波信息，根据所述脑电波信息对应的情绪信息从预设的关于该用户的多模态人机交互策略中查找对应的多模态输出数据，按照预设优先级输出最匹配当前情绪的多模态输出数据，以改善用户不良情绪，其中，还包括策略预设模块，其预设多模态人机交互策略，该模块进一步包括如下单元：

信息采集单元，其用以预先采集用户在训练环境中的用于诱发不同情绪的视觉信息和听觉信息、以及在相应信息刺激下产生的脑电波信息；

情绪确定单元，其用以对所述脑电波信息进行解析，确定用户的情绪；

策略信息生成单元，其用以根据用户情绪对不同物体或话题进行分类，并按照喜好/讨厌程度对物体或话题设定优先级，基于这些信息进行深度学习，生成基于所述用户的关于物体或话题多模态输出的策略信息；

所述多模态信息输出模块，其进一步在输出多模态输出数据之后，采集用户对所述多模态输出数据反馈的脑电波信息，以获取该用户的反馈情绪；将用户反馈的情绪重新确定多模态人机交互策略，输出相匹配的多模态输出数据。

5.如权利要求4所述的用于智能机器人的多模态交互装置，其特征在于，还包括：

策略信息调整模块，其用以获取用户当前情绪状态并根据情绪状态对所述预设的关于该用户的多模态人机交互策略进行调整，所述情绪状态通过采集脑电波信息方式获取。

6.如权利要求4或5所述的用于智能机器人的多模态交互装置，其特征在于，所述信息采集单元包括EEG设备，其采集所述脑电波信息。