[发明专利]一种基于深度学习的机器人情感认知的方法

说明书

本发明提供一种基于深度学习的机器人情感认知的方法，包括：获取得到多模态信息，通过多模态信息融合算法得到情绪状态；将情绪状态输入到交互决策模型进行处理得到决策信息，将所述决策信息输出到满意度模型中；由满意度模型来检测交互决策模型输出的决策信息是否符合当前用户的喜好，若是，则进入到长期记忆中，进行数据更新，将获取到的决策信息输出给行为选择器得到机器人行为输出；否则，从短期记忆中获取记录的片段以及对应用户的情绪变化，并从长期记忆中提取用户特征，利用LSTM深度学习模型计算得出决策信息，将获取到的决策信息输出给行为选择器得到机器人行为输出。本发明通过交互决策模型，提高机器人认知能力，更好的进行人机交互。

技术领域

本发明涉及信息技术领域，尤其涉及一种基于深度学习的机器人情感认知的方法。

背景技术

从目前的机器人情感认知方面的成果来看，主要是基于物理行为为基础进行计算，在情感认知方面还未有进展。现有的方法存在以下缺陷：1、市面上的机器人大多属于工业机器人的范畴，交互过程中没有考虑到基于人类的情感做进一步人机交互；2、机器人都有着决策模块，但都不基于情感而进行行为决策，不利于机器人与人的社交行为的发展；3、现有的研究很少有基于深度学习的情感认知框架，无法对不同对象进行交互，也不能进行较好的自我认知更新。

发明内容

本发明要解决的技术问题，在于提供一种基于深度学习的机器人情感认知的方法，通过交互决策模型，提高机器人认知能力，更好的进行人机交互，促进社交机器人的发展，并建立自我更新的认知模型，适应不同人的交互需求。

本发明是这样实现的：一种基于深度学习的机器人情感认知的方法，包括如下步骤：

步骤1、获取得到多模态信息，通过多模态信息融合算法得到情绪状态；

步骤2、将所述情绪状态输入到交互决策模型进行处理得到决策信息，将所述决策信息输出到满意度模型中；

步骤3、由满意度模型来检测交互决策模型输出的决策信息是否符合当前用户的喜好，若是，则进入到长期记忆中，进行数据更新，进入步骤5；否则，进入步骤4；

步骤4、从短期记忆中获取记录的片段以及对应用户的情绪变化，并从长期记忆中提取用户特征，利用LSTM深度学习模型计算得出决策信息，进入步骤5；

步骤5、将获取到的决策信息输出给行为选择器，得到行为，作为机器人行为输出。

进一步的，所述步骤1进一步包括：

步骤11、获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息，包括面部表情、头眼关注、手势和文本；

步骤12、构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；

步骤13、对多模态信息进行处理，通过PAD模型与OCC模型将信息映射到PAD三维空间上；

步骤14、对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算。

进一步的，所述步骤3中“进行数据更新”中的数据包括用户、情绪变化与喜好度。

进一步的，所述方法还包括步骤6、在交互过程中，根据用户的反馈信息不断更新记忆模块的内容，与其共同完成面向对象的适应性交互知识体系更新。

进一步的，所述LSTM模型是根据标定的数据预先训练得到的。

本发明具有如下优点：

1、机器人采用情感认知能够使机器人高效、准确地识别用户的情绪状态并作出相应的决策，能够提高机器人认知能力，更好的进行人机交互，促进社交机器人的发展；