[发明专利]结合多级特征依赖与多尺度上下文特征的抑郁识别方法

说明书

本发明公开了一种结合多级特征依赖与多尺度上下文特征的抑郁识别方法，包括：搭建并改进ResNet101，获得C²、C³、C⁴及C⁵四个代表不同级别语义信息和细节信息的情感表征；将多级情感表征输入到多层双向门控网络，提取多级特征间的依赖关系；将多级情感表征发送到多尺度自适应上下文模块，提取相应的多尺度上下文特征，通过跨级融合得到各级的多尺度情感表示O³、O⁴和O⁵；将C⁵级情感表征导入卷积注意力模块，获得带有显著情感区域的情感表示D；通过特征融合得到多线索情感特征E，通过分类网络进行抑郁识别。本发明同时结合级内关联与级间关联来获取更深层更全面的情感，并且对噪声具有鲁棒性。

技术领域

本发明涉及情感分析技术领域，具体而言涉及一种结合多级特征依赖与多尺度上下文特征的抑郁识别方法。

背景技术

随着短视频的发展及生活节奏的加快，通过图像和短视频内容分享感受成为社交网络上的一种主要表达方式；同时，对于有抑郁倾向的人群，随着时间的推移和病症的加深，越来越喜欢用抽象简便的视觉描述来代替直观复杂的文字描述；并且，图像内容包含的情感更加丰富多样且深入。以上情况使得分析图像内容包含的情感信息的任务越来越受到关注，需要发明一种能够自动分析社交网络中影响并进行准确抑郁判断的方法。

视觉情绪分析在图像内容理解方面与许多传统视觉任务相比有两个重要方向：一是对不同尺度物体的感知，二是不同级别的情绪表征的提取与利用。目前的研究多只考虑单方向的突破，没有进行两个方向的结合。此外，现有方法在结合整体与局部情感特征时存在图像噪声对分类的影响。

发明内容

本发明针对现有技术中的不足，提供一种结合多级特征依赖与多尺度上下文特征的抑郁识别方法，同时结合级内关联与级间关联来获取更深层更全面的情感，并且对噪声具有鲁棒性。

为实现上述目的，本发明采用以下技术方案：

本发明实施例提出了一种结合多级特征依赖与多尺度上下文特征的抑郁识别方法，所述抑郁识别方法包括以下步骤：

S1，搭建ResNet101网络作为模型特征提取层，使用ELU作为激活函数并添加BN层，获得C²、C³、C⁴及C⁵四个代表不同级别语义信息和细节信息的情感表征；

S2，将步骤S1中获得的多级情感表征输入到多层双向门控网络，提取多级特征间的依赖关系，连接双向输出，得到图像的关联表示V；

S3，将步骤S1中获得的多级情感表征送入多尺度自适应上下文模块，提取相应的多尺度上下文特征，通过跨级融合得到各级的多尺度情感表示O³、O⁴和O⁵；

S4，将C⁵级情感表征导入卷积注意力模块，获得带有显著情感区域的情感表示D；

S5，将多尺度情感表示O³、O⁴、O⁵和带有显著情感区域的情感表示D及图像的关联表示V进行特征融合，得到多线索情感特征E；

S6，将多线索情感特征E送入全局平均池，通过两个全连接层得到是否抑郁及抑郁严重程度两个标签。

进一步地，步骤S6中，通过两个完全连接的分类网络对多线索情感特征E进行分类，其中一个分类网络用于生成标识是否抑郁的标签，另一个分类网络用于预测抑郁严重程度得分。

进一步地，步骤S1中，所述模型特征提取层包括多个依次相连的残差块，每个残差块的卷积层后连接有BN层，并且残差块采用的激活函数为ELU激活函数。