[发明专利]一种基于深度神经网络的新生儿疼痛表情识别方法

权利要求书

1.一种基于深度神经网络的新生儿疼痛表情识别方法，其特征在于，包括如下步骤：

步骤A.采集新生儿分别对应预设各个疼痛程度等级的各个样本疼痛等级表情视频，并进入步骤B；

步骤B.分别针对各个样本疼痛等级表情视频，具体针对样本疼痛等级表情视频进行剪辑，获得各个表情图像帧，进而获得各个样本疼痛等级表情视频分别所对应的各组样本表情图像帧，并统一各组样本表情图像帧的帧长度T，以及统一所有表情图像帧的分辨率m×n，然后进入步骤C；

步骤C.构建卷积神经网络和长短时记忆网络，并将卷积神经网络的输出端与长短时记忆网络的输入端相连接，由卷积神经网络和长短时记忆网络组建深度神经网络，然后进入步骤D；

步骤D.采用各组样本表情图像帧，以及分别所对应的疼痛程度等级作为训练样本，针对所组建的深度神经网络进行训练，获得对应于新生儿表情识别的深度神经网络，然后进入步骤E；

步骤E.采集新生儿实际表情视频，并进行图像帧调整，然后采用对应于新生儿表情识别的深度神经网络，针对新生儿实际表情视频进行识别，获得所对应的疼痛程度等级。

2.根据权利要求1所述一种基于深度神经网络的新生儿疼痛表情识别方法，其特征在于：所述预设各个疼痛程度等级包括新生儿平静状态、新生儿啼哭状态，以及因致通性操作所导致的新生儿轻度疼痛状态、新生儿剧烈疼痛状态。

3.根据权利要求1所述一种基于深度神经网络的新生儿疼痛表情识别方法，其特征在于：所述步骤D中，采用各组样本表情图像帧，以及分别所对应的疼痛程度等级作为训练样本，通过BPTT算法针对所组建的深度神经网络进行训练。

4.根据权利要求1至3中任意一项所述一种基于深度神经网络的新生儿疼痛表情识别方法，其特征在于：所述步骤C中构建的卷积神经网络由输入开始，依次包括第一层卷积层、第二层池化层、第三层卷积层、第四层池化层、第五层卷积层、第六层池化层、第七层卷积层和第八层全连接层。

5.根据权利要求4所述一种基于深度神经网络的新生儿疼痛表情识别方法，其特征在于：所述卷积神经网络由输入开始，依次所包括各个层如下：

第一层卷积层，采用l₁个k₁×k₁卷积核针对分辨率为m×n的表情图像帧进行卷积操作，获得l₁个分辨率为m₁×n₁的特征图，其中，s₁表示本层卷积核的卷积步长，INT(·)表示取整函数；

第二层池化层，采用预设尺寸为p₁×p₁的滑动窗口，针对上一层卷积层所输出的特征图进行下采样，获得l₁个分辨率为m₂×n₂的特征图，其中，s₂表示本层滑动窗口的滑动步长；

第三层卷积层，采用l₂个k₂×k₂卷积核针对上一层卷积层所输出的特征图进行卷积操作，获得(l₁×l₂)个分辨率为m₃×n₃的特征图；其中，s₃表示本层卷积核的卷积步长；

第四层池化层，采用预设尺寸为p₂×p₂的滑动窗口，针对上一层卷积层所输出的特征图进行下采样，获得(l₁×l₂)个分辨率为m₄×n₄的特征图，其中，s₄表示本层滑动窗口的滑动步长；

第五层卷积层，采用l₃个k₃×k₃卷积核针对上一层池化层所输出的特征图进行卷积操作，获得(l₁×l₂×l₃)个分辨率为m₅×n₅的特征图；其中，s₅表示本层卷积核的卷积步长；

第六层池化层，采用预设尺寸为p₃×p₃的滑动窗口，针对上一层卷积层所输出的特征图进行下采样，获得(l₁×l₂×l₃)个分辨率为m₆×n₆的特征图，其中，s₆表示本层滑动窗口的滑动步长；

第七层卷积层，采用l₄个k₄×k₄卷积核针对上一层池化层所输出的特征图进行卷积操作，获得(l₁×l₂×l₃×l₄)个分辨率为m₇×n₇的特征图；其中，s₇表示本层卷积核的卷积步长；

第八层全连接层，将第七层卷积层所输出的(l₁×l₂×l₃×l₄)个分辨率为m₇×n₇的特征图连接成(l₁×l₂×l₃×l₄×m₇×n₇)维的特征向量。