[发明专利]一种融合文本信息的GIF短视频情感识别方法及系统

说明书

本发明公开了一种融合文本信息的GIF短视频情感识别方法及系统，该方法首先利用3D卷积神经网络提取出GIF短视频中序列特征，同时利用卷积神经网络提取出序列中图像视觉特征；再采用卷积长短时记忆递归神经网络技术解码二者融合后的高层语义特征，计算出情感分类概率分布矩阵，将进行区间映射得到视频部分的情感得分。接着，从注释文本中的单词筛选出蕴含情感信息的词汇，采用情感打分工具计算出文本情感得分。最后，将视频情感得分与文本情感得分赋予不同的权重相加并做有效性判别，对GIF短视频进行情感分类。本发明能有效关注GIF视频中图像的情感信息，同时兼顾视频流的时序特征，并且文本信息与视频信息融合，提高了GIF视频情感分类的准确度和鲁棒性。

技术领域

本发明涉及一种视频情感识别方法及系统，尤其涉及一种融合文本信息的GIF短视频情感识别方法及系统，属于计算机视觉视频情感识别技术领域。

背景技术

视频序列中的情感识别是一项涉及计算机视觉、模式识别及人工智能等多领域的研究课题。随着互联网技术的快速发展，社交媒体的日渐成熟，越来越多的人使用短视频来表达他们的观点和情感。然而短视频的情感识别由于语义鸿沟问题的存在以及视频序列的情感信息学习的困难，所以要提出一种既能学习视频序列信息又能准确理解情感语义的方法是一个很有挑战性的工作。

传统的情感识别工作主要注重于可以直观表达情感的文本内容，根据文本情感研究的分析尺度的不同，可以将基于文本的情感识别分成三个等级：文档级，语句级和实体级。而近年来随着社交多媒体内容的丰富，视觉情感分析逐步成为研究的热点，根据视觉研究的内容形式的不同，可以将视觉情感分析分为两类：图像情感分析和视频情感分析。

针对图像的情感分析中，文献[S.Siersdorfer,E.Minack,F.Deng,andJ.S.Hare,Analyzing and predicting sentiment of images on the social web.InACM MM,pages 715–718,2010.]提出从像素级特征的层面对图像的情感进行分析，然而由于情感的复杂性，底层特征并不能很好的表现图像的情感含义。随着深度学习算法的逐步发展，越来越多的文献通过深度神经网络开始理解图像语义层面的特征。文献[H.J.Quanzeng You,Jiebo Luo and J.Yan,Robust image sentiment analysis usingprogressively trained and domain transferred deep networks.AAAI,2015]将深度学习模型应用到视觉情感分析中，运用卷积神经网络(CNN)针对图像中的情感特征进行学习，从而获取图像的情感类别。同时，随着视觉情感分析内容复杂度的增加，很多文献提出将图像与文本共同处理的方法。文献[D.Borth,R.Ji,T.Chen,and S.-F.Chang,Large-scale visual sentiment ontology and detectors using adjective noun pairs.ACM,2013,pp,223-232]通过使用1200个形容词名词对(ANP)来对图像的中层情感语义特征进行描述。文献[Quanzeng You,Liangliang Cao,Hailin Jin,Jiebo Luo,RobustVisual-Textual Sentiment Anlysis:When Attention meets Tree-structuredRecursive Neural Networks.ACM Multimedia Conference(ACM MM),Amsterdam,TheNetherlands,October 2016]使用了一种注意力机制(Attention Model)和树形LSTM(T-LSTM)将文本特征和图像特征融合，以获得更贴切情感实体的高层语义特征。但是这些成果是在单帧图像的基础上对视觉情感进行分析，无法对视频时域序列上的特征进行描述。