[发明专利]基于深度学习的情感虚拟现实场景评估方法

说明书

本发明涉及视频图像数据处理领域，具体为基于深度学习的情感虚拟现实场景评估方法，包括步骤：获取多种情绪类型的样本图像组成样本库并进行预处理；标准化虚拟现实场景中动态视觉的图像数据及待评估虚拟现实场景采集，在符合时长要求的虚拟现实场景中截取一系列图像，获取待评估的图像数据组成待评估样本库；利用预处理后的情绪刺激样本图像构建和训练深度神经网络模型；使用深度神经网络模型对待评估虚拟现实场景中采集的动态视觉图像进行评估，输出评估的情绪类型。该方法对每帧视频画面各个视角中包含特征的权重进行合理的分配，并综合考虑虚拟现实场景持续的时长，可充分在时间轴上对虚拟现实场景进行情绪触发评估。

技术领域

本发明涉及视频图像数据处理领域，具体为基于深度学习的情感虚拟现实场景评估方法。

背景技术

虚拟现实场景在日常生活中的应用正在逐步地广泛起来，其中一部分围绕着情感触发及情感评估进行的健康监测、辅助治疗和游戏设计的应用正是发展的重要领域之一。已有的研究表明，利用虚拟现实技术创建出虚拟场景进行心理疾病诊断、治疗可以诊断被试者的心理状况或有效地缓解被试者的焦虑症、恐惧症等精神疾病。虚拟现实场景通过整合计算机图像处理、运动追踪、视觉呈现等技术，具备优秀的沉浸性、可交互性，可以让患者安全可控地完全沉浸在虚拟的场景中进行治疗,从而逐步改善患者的症状。

虚拟现实场景在投入正式使用之前，需要进行情感评估，对虚拟现实场景所处的情感触发类别进行评估。在虚拟现实场景情感评估方面中，目前普遍使用的方法还是运用传统情感评估手段进行情感评估，即是通过规范化的心理学实验，获取主观的情感报告。主观情感报告作为主流实验手段，存在数据结果主观、个体差异大、耗费人力物力等不足之处。所以，需要搭建一个神经网络，自动识别一定时长的虚拟现实场景。这样既节省了严格心理学实验评估的一系列需求，又可对一段时间内虚拟现实场景的视觉画面进行多维度、全方位的评估，得出场景的情感类型，分析场景的基础情绪构成，在时间维度、空间维度和复合情绪分析上更具科学性。

在相关研究中，通过神经网络进行情感评估的研究主要集中在图片、音频、视频等方面，即利用人工智能、计算机视觉等技术对情感评估素材的情感类型进行自动评估的研究。通过机器学习、图像数据处理等手段找出情感评估素材中的颜色、元素等各类因子，分析之间关系及权重，并自动进行评估。从现有的自动评估系统的研究来看，基本上是围绕着图像、文字、声音等情感评估素材进行短时、单维度的评估，而这种单次评分机制并不适用于虚拟现实场景这类多维、持续一定时长且连续变化的情感评估素材。

在预处理环节中，通常把情绪评估素材的尺寸规格变成一致的并且进行裁剪，而虚拟现实场景不同于图片素材，每一帧都是360度的全景图片，有多角度的视角可以变化。

此外，在特征提取及选择的环节中，现有技术主要进行素材中重要特征的提取和筛选，或者是直接利用现有特征，根据启发式、完全搜索式等方法抽取特征子集。然而，在实际应用中，对虚拟现实场景的特征筛选的过程中，仅仅做以上考虑是不足够的。

发明内容

为了解决现有技术所存在的问题，本发明提供基于深度学习的情感虚拟现实场景评估方法，在虚拟现实场景的特征筛选的过程中，该方法依据场景摄像头主视角以及其他视角之间的主次关系对每帧视频画面各个视角中包含特征的权重进行合理的分配，并综合考虑虚拟现实场景持续的时长，加入时间维度上的考量，可充分在时间轴上对虚拟现实场景进行情绪触发评估。

本发明采用如下技术方案来实现：基于深度学习的情感虚拟现实场景评估方法，包括以下步骤：

S1、获取多种情绪类型的样本图像组成样本库，并对所述样本库中的情绪刺激样本图像进行预处理；

S2、标准化虚拟现实场景中动态视觉的图像数据及待评估虚拟现实场景采集，在符合时长要求的虚拟现实场景中，截取一系列图像，获取待评估的图像数据组成待评估样本库；

S3、利用预处理后的情绪刺激样本图像构建和训练深度神经网络模型；