[发明专利]一种基于特征金字塔网络的双向LSTM微表情识别抑郁症方法

权利要求书

1.一种基于特征金字塔网络的双向LSTM微表情识别抑郁症方法，其特征包括，包括下列步骤：

特征提取：将1秒的视频等时间分成12张图片，通过ResNet对图片分别进行特征提取；

特征产生：通过将ResNet提取出的图像通过图像金字塔进行一系列卷积求和操作，从而产生不同尺度特征；

特征串联：将不同图片中提取出来的相同尺度特征通过使用双向LSTM网络进行特征串联，从而得到输出结果。

2.如权利要求1所述的方法，在特征提取阶段采用ResNet加特征金字塔的形式对图片中的特征进行提取，特点在于使用了残差学习的方法对图像的特征进行提取，使得网络在训练的时候能够更加快速的进行收敛，同时加大网络特征提取的能力；

若将输入设为，将某一有参网络层设为，那么以为输入的此层的输出将为；一般的CNN网络如Alexnet/VGG等会直接通过训练学习出参数函数的表达，从而直接学习；

与传统卷积神经网络不同，残差网络主要特点是能够利用网络每一层有参网络对残差进行学习，即，即学习；其中这一部分为直接的identitymapping，而则为有参网络层要学习的输入输出间的残差，一般的CNN网络只是在最后输出层的时候对映射函数进行拟合，比较困难，这也是为什么普通卷积神经网络比较难以训练的原因；而ResNet不去直接学习映射函数，转而去学习一个残差函数，在这个公式中，只要就构成了一个恒等映射.而且，拟合残差肯定更加容易；

经过第一步RestNet特征提取之后，我们采用特征金字塔网络（FPN）对ResNet提取到的特征进行进一步地处理，得到不同尺寸的特征图，这将在网络进行比较细小的图像部分识别时产生帮助；

在这一阶段FPN的输入是任意大小尺寸的图像，并通过全卷积层输出多个级别的按比例缩放的特征图，对于ResNet，我们使用每个阶段的最后残差块的特征激活输出；

在FPN网络中，输入数据自上而下的经过网络每一层，在金字塔高层的网络层中，网络将上采样输入数据中空间粗略但是语义健壮的特征图，来幻化更高的分辨率特征；之后，输入数据通过横向连接从下而上地经过另外一个网络层，来增强之前提取到的特征；每个横向连接融合来自从下而上的路径和从上而下的路径同样空间尺寸的特征图；

最后，我们使用双向LSTM将从特征金色塔FPN输出的特征进行串联并输出最终的结果；双向LSTM的优势在于可以长期记忆之前的和之后的若干输入，而在进行微表情识别的任务中，往往需要由前面的若干输入和后面的若干输入共同决定，这样会更加准确；

网络的前向传播层和后向传播层，数据流的最终出路都是输出层，在正向计算的过程中，时间从1到t正向计算，每一个时刻隐含层的输出都将被保存；同样地，在反向计算中，从时刻t到时刻1，每一个隐含层的输出也将被分别保存，最后在每个时刻结合前向传播层和后向传播层的相应时刻输出的结果得到最终的输出；用数学表达式如下：

(1)

(2)

(3)。

3.如权利要求1,2中所述的方法，其特征是采用特征金字塔的方法，可以输出不同尺度的特征，从而可以更好地关注图像中更细小的部分，并且多种尺度的特征作为双向LSTM的输入，可以输出更加准确的结果。

4.如权利要求2中所述的方法，采用了ResNet网络，使用了残差网络的思想，使得参数的拟合速度加快，并且所需要的参数量相比其他常见的卷积神经网络架构少很多。

5.如权利要求2中所述的方法，采用了双向LSTM，相比单向LSTM，对时间线上的图片进行前后关联，更好地利于前后图片的交互，从而输出更加准确的结果。