[发明专利]一种基于长短时记忆机制的多模态个性化情感的处理方法

说明书

本发明实施例公开了一种基于长短时记忆机制的多模态个性化情感的处理方法，以音乐视频为“刺激物”，设计基于长短时记忆机制的多模个性化的处理方法，自动感知并提取“刺激物”的特征，对刺激物进行理解与记忆，然后模拟人类的情感转移过程实现情感的表达。本发明属于人工智能领域，涉及一种人工情感模拟系统，可应用于开发具有情感的、智能化的新型人机交互产品。此外，本发明从类脑机制出发，可以为模拟、延伸和扩展智能机器人的自然类脑情感提供一条可借鉴的思路。

技术领域

本发明涉及人工智能领域，尤其涉及一种人工情感模拟系统，可应用于开发具有情感的、智能化的新型人机交互方法。

背景技术

情感被认为是人类行为有别于其他所有生物行为的终于标准，要使计算机具有更高的、更全面的智能，必须赋予计算机认知、理解、表达和适应人的情感的能力来建立和谐人机环境。这是情感计算领域的最终目标，也是从弱人工智能到强人工智能的必经之路。随着研究的不断深入，研究内容逐渐扩大和延伸，人们不再局限于机械地计算情感，而是对人类情感和认知的系统研究，以及人类与情感智能机器之间的关系，这些已经成为人们对人工智能技术的追求。然而，这些情感研究中，普遍存在以下的三个问题：(1)对于情感认知上，研究者较多关注其分类准确率，却缺乏考虑情感的不确定性。(2)对于情感理解上，暂时很少人研究，特别是在多媒体视频内容上；(3)对于情感表达上，由于大多模拟实验不是用真实的“刺激物”，这将导致仿真效果的欠缺良好的现实意义。

信息与智能技术已然成为社会发展的重要依托，如何与发展信息与智能技术构建具有长短时记忆机制的，多模态、个性化的情感模型已然成为一个极具研究价值的科学问题。实现更加智能化的情感模型，首当其中要解决的问题是情感分类与情感状态的转移。

对于情感分类：目前，从情感定义的角度上，《Regionalbrain function，emotionand disorders of emotion.》认为情绪是一种短暂的心理和生理现象，它代表了人体对环境变化的适应模式。《areview and an agenda for future research》认为情绪反映了环境造成的心理和生理状态。这种心理和生理状态虽然不是完全独立的，但与情绪、姿态、态度和性格是不同的。尽管对情绪的解释不同，但在大多数情况下，不同的人之间的某些明确的情绪表达是一致的。例如，人们会为成功而高兴，但人们会为他们的爱情之死而感到悲伤。于是研究者们把注意力转移到了情感表达和人类对情感的认知上，常用的测量情感的方法有离散法和量纲法。根据《British Journa lof Psychiatry》的观点，情感可以通过离散方法分为六类：快乐、悲伤、惊讶、厌恶、愤怒和恐惧；而《Emotion representation，analysis and synthesis in continuous space：A survey》引入的维度方法则将情感分为三维连续空间：唤醒、价值和支配。基于这些理论，提出了两种情感描述方法来捕捉视频中的情感内容。一种是分类法，另一种是量纲法。视频情感内容分析领域最常用的分类是《Analysing user physiologicalresponses for affective video summarisation》提出的六种基本情感，包括快乐、悲伤、愤怒、厌恶、恐惧和惊喜。此外，其他类别，如娱乐、无聊、兴奋或恐怖、在《Video indexing and recommendation based on affective analysisof viewers》中，也用于描述某些应用中视频的情感内容。