[发明专利]面向短视频场景的主题情感分析方法

说明书

现有技术无法充分捕获视频帧序列的时序关系，无法针对不同的特征赋予不同的权值以及在一些特殊场景下分类不准确的问题。针对上述情况，本发明提出一种面向短视频场景的主题情感分析方法，在视频帧图像处理时引入conv3D，捕获视频帧序列的时序关系，并在特征处理时引入注意力机制；对于诸如讽刺之类的场景，引入音频信息作为辅助，采用多模态情感分析，并设计一种决策融合方式来综合音频和视频两种模态，将其用于多模态情感分类，从而提升情感分析结果的正确率。

技术领域

本发明涉及计算机视觉领域，具体涉及一种面向短视频场景的主题情感分析方法。

背景技术

近年来，随着社交媒体的发展，如微博、抖音、快手的出现，人们越来越倾向于在这些平台或软件上通过上传图片、文字、视频来发表个人意见，展示他们的情感，这其中短视频则是尤为重要的一种形式。与此同时，各大平台与软件也通过用户上传的短视频来进行主题情感分析，确定用户的情感导向，以便向用户精准的推送所需的内容。主题情感分析就为这些平台提供了分析上传的短视频的主题情感的方式。

过去的研究中所探讨的情感分析多指文本中的主题情感分析(尤其是短文本情感分析)，包括推特以及电影评论等等。但由于文字是抽象的，且文字个体之间是相互独立的，单纯地基于文字来完成主题情感分析是远远不够的。考虑到短视频已经成为当前较为主流的情感载体，研究者们开始思考基于短视频的视频帧信息来完成主题情感的分析。早在2013年，Verónica Pérez Rosas等人使用商业软件Okao Vision来检测每一帧人脸图片并提取面部特征，但使用这种方法的成本较高，深圳大学的江政波等人基于卷积神经网络来进行视频内容的主题情感分析，但也只是简单的从静态视频帧图像中提取特征，他们的做法无法捕获视视频帧图像之间的时序关系。而视频中情感的表达往往具有时间上的连续性，因此这一做法的情感分类结果准确性较差。

但基于视频帧图像的主题情感分析在一些场景下是不准确的，比如在表达反讽的情境下，音频和视频所表现出来情感状态是不一样的。由于频帧的情感分析会被影响而出现误差，学者们开始考虑多维度的信息如添加音频等其他信息进行补充，降低上述场景对主题情感分析的影响，因此，多模态情感分析成为当前主题情感分析较为前沿且重要的研究方向。

发明内容

本发明的目的在于提供一个面向短视频场景的主题情感分析算法，解决单一模态的主题情感分析在现有短视频日益增长情况下不准确的问题。

面向短视频场景的主题情感分析方法，具体执行步骤如下：

步骤1，数据预处理；采集原始的视频，并将其剪辑成长度为1min，只包含一种情感的短视频；

步骤2，建立音频网络模型和视频网络模型，分别对两个网络进行训练，通过一种决策融合方法生成最终的结果；

步骤3，输出最终的情感分类结果。

进一步地，步骤1包括如下分步骤：

步骤1a，将短视频转换成连续的视频帧图片，每隔24帧截取一张图片，然后将每4张连续的视频帧图片保存为一组，每5组设为模型的输入；

步骤1b，采用对数梅尔能量带和梅尔频率倒谱系数作为音频特征，针对每一对窗口和滑动窗口大小，提取40个对数梅尔能量带系数和60个梅尔频率倒谱系数特征，其中60个梅尔频率倒谱系数由20个第一系数，20个一阶偏导系数和20个二阶偏导系数组成，沿着频域将这些特征保存为音频图谱；

步骤1c，对步骤1a、1b中的视频帧和音频图片进行数据增强操作，包括平移，翻转，旋转，颜色抖动，对比度增强，亮度增强，颜色增强。

进一步地，步骤2包括如下分步骤：