[发明专利]一种基于特征金字塔网络的双向LSTM微表情识别抑郁症方法

说明书

本发明提供一种基于特征金字塔网络的双向LSTM微表情识别抑郁症方法，包括：首先从一秒中的视频流中等时间提取出12张图片，将12张图片作为输入进入到该模型中，接着通过ResNET网络对图片的特征进行提取，经过多层Conv={Conv1，Conv2，Conv3，Conv4，Conv5}得到一个多维的图片特征，即Conv5的输出结果，之后通过2倍上采样以及经过1*1卷积变换的Conv层相加得到不同尺度的特征值M={M2，M3，M4，M5}，接着将不同图片的不同尺度{M2，M3，M4，M5}特征图通过3*3的卷积层进行去除由于上采样带来的混叠效应，之后通过全连接层将特征图展成一维的特征向量从而分别作为四个双向LSTM模型的输入，得到输出Ot={Ot2，Ot3，Ot4，Ot5}，最后将Ot经过一层全连接层得到最终的预测值。

技术领域

本发明涉及计算机技术领域，特别涉及一种基于特征金字塔网络的双向LSTM微表情识别抑郁症方法。

背景技术

心理疾病作为众多疾病中较难确诊并不好发现的一种，一直是人们在所有疾病中重视度较低的疾病。基于对心理疾病的抵触心理以及对心理疾病缺乏基本的认识，人们往往会在心理疾病产生初期并没有及时就医，而是选择自己调节，直到心理疾病严重到影响到正常生活甚至生命的时候才迫不得已才进行就医，而抑郁症作为心理疾病中的一个相对普遍的疾病，正或多或少地影响着人们生活的方方面面。如何针对当下社会的心理疾病的情况设计出一个较好的解决方案是一个亟待解决的课题。

计算机视觉提供了较好的解决方案，通过摄像头捕捉到人的面部表情并将结果传输到计算机，通过深度学习对获得的图片进行处理分析，从而获得想要的结果。图像识别问题希望借助计算机程序来对图片中的内容进行处理、分析和理解，是的计算机可以区分图片中不同的目标和对象。

卷积神经网络作为图像处理中的一种重要技术，可以很好地提取图像中特征信息，现常见的网络架构例如ResNet，VggNet，GoogleNet等等都有比较好的效果，通过卷积神经网络提取出来的高度压缩的特征通过变换成1维特征向量，再通过几层全连接层实现判别物体的输出。

特征金字塔网络FPN在保证高速度和高精度的基础上提供了一种可以提取图像中不同尺度的特征，通过将卷积神经网络提取出来的高压缩特征以及在卷积神经网络过程中的隐藏层进行结合，从而得到尺度不相同的特征。把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，使得所有尺度下的特征都有丰富的语义信息。而心理疾病在脸部表现的往往是面部微表情和小块肌肉的活动，而FPN就提供了比较好的解决方案。

循环神经网络(RNN)主要针对输入数据具有依赖性且是序列模式。相比卷积神经网络，网络被赋予对前面的内容的一种“记忆”功能。LSTM是循环神经网络的一种，使用LSTM可以更好的捕捉较长距离的依赖关系。双向LSTM(即BiLSTM)是由前向LSTM与后向LSTM组合而成，可以编码从前到后、从后到前的信息。在更细粒度的微表情识别预测抑郁症(抑郁等级)过程中，需要考虑图片序列的前后特征信息的交互。对此，BiLSTM能提供比较好的解决方法。

微表情是引发隐藏某种真实情绪的短暂和不自主的快速面部表情，由于面部微表情的发生时间一般非常短暂，所以近年来对微表情识别一直是计算机视觉中的难点，LBP-TOP和相应的预处理技术已经在微表情识别领域有了较大的突破，本发明就通过识别微表情来判断抑郁症这个课题通过对网络结构的改进来更准确地识别抑郁症。

发明内容

本发明的目的在于：提出了一种基于特征金字塔网络的双向LSTM微表情识别抑郁症方法。该方法不仅可以很好地解决在心理疾病上有关抑郁症的判别问题，而且可以用于其他相关视频分析上面。

本发明包括了特征提取以及特征串联的方法，其主要步骤包括：。

特征提取：通过使用ResNET对原图片进行特征提取。