[发明专利]一种基于深度神经网络的新生儿疼痛表情识别方法

说明书

技术领域

本发明涉及一种基于深度神经网络的新生儿疼痛表情识别方法，属于机器学习与模式识别技术领域。

背景技术

国际疼痛协会(International Association for the Study of Pain)将疼痛定义为：“一种不愉快的感觉和伴有实际或潜在的组织损伤的情绪体验，属于主观性感觉”。但新生儿无法描述疼痛的能力，因此，国际疼痛研究协会又增加了“无交流能力却不能否定一个个体有疼痛体验和需要适当缓解疼痛的可能性。”新生儿出生后都具有感知疼痛的能力，在医疗过程中对新生儿采取的一些医疗操作会引起新生儿的疼痛。比如各种穿刺、注射、局部感染、手术、环境、护理因素、产伤、疾病本身等都会造成新生儿疼痛。而这些疼痛感会引起新生儿的机体全身反应，包括呼吸影响、心血管不稳定，造成厌恶接触、喂养困难、影响其与父母的关系，对神经元和脑组织信号传递产生永久的损伤，甚至导致未来发育不良等其他负面影响。

疼痛评估是控制疼痛的重要一环，是否需要进行疼痛治疗的干预以及评价治疗的效果如何，关键均在于对疼痛的准确评估。在常用的新生儿疼痛评估工具中，疼痛引起的蹙眉、挤眼、鼻唇沟加深、张口等“面部表情”被认为是最可靠的疼痛监测指标。

但目前国际上对新生儿疼痛的评估都是由受过专门训练并熟悉各项评估技术指标的医护人员进行人工评估，这带来了一些实际问题，如需要花费大量的时间精力，而且评估结果往往受个人的经验及情绪等主观因素的影响，不能客观反映新生儿疼痛程度。因此，开发一种客观、快速、有效的新生儿疼痛自动评估系统，对医护人员及时采取相应的镇痛措施以减轻新生儿的疼痛具有非常重要的意义和价值。

发明内容

本发明所要解决的技术问题是提供一种基于深度神经网络的新生儿疼痛表情识别方法，引入卷积神经网络和长短时记忆网络，能够提高在面部受遮挡、姿态倾斜、光照变化等复杂情况下的识别率和鲁棒性。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于深度神经网络的新生儿疼痛表情识别方法，包括如下步骤：

步骤A.采集新生儿分别对应预设各个疼痛程度等级的各个样本疼痛等级表情视频，并进入步骤B；

步骤B.分别针对各个样本疼痛等级表情视频，具体针对样本疼痛等级表情视频进行剪辑，获得各个表情图像帧，进而获得各个样本疼痛等级表情视频分别所对应的各组样本表情图像帧，并统一各组样本表情图像帧的帧长度T，以及统一所有表情图像帧的分辨率m×n，然后进入步骤C；

步骤C.构建卷积神经网络和长短时记忆网络，并将卷积神经网络的输出端与长短时记忆网络的输入端相连接，由卷积神经网络和长短时记忆网络组建深度神经网络，然后进入步骤D；

步骤D.采用各组样本表情图像帧，以及分别所对应的疼痛程度等级作为训练样本，针对所组建的深度神经网络进行训练，获得对应于新生儿表情识别的深度神经网络，然后进入步骤E；

步骤E.采集新生儿实际表情视频，并进行图像帧调整，然后采用对应于新生儿表情识别的深度神经网络，针对新生儿实际表情视频进行识别，获得所对应的疼痛程度等级。

作为本发明的一种优选技术方案：所述预设各个疼痛程度等级包括新生儿平静状态、新生儿啼哭状态，以及因致通性操作所导致的新生儿轻度疼痛状态、新生儿剧烈疼痛状态。

作为本发明的一种优选技术方案：所述步骤D中，采用各组样本表情图像帧，以及分别所对应的疼痛程度等级作为训练样本，通过BPTT算法针对所组建的深度神经网络进行训练。

作为本发明的一种优选技术方案：所述步骤C中构建的卷积神经网络由输入开始，依次包括第一层卷积层、第二层池化层、第三层卷积层、第四层池化层、第五层卷积层、第六层池化层、第七层卷积层和第八层全连接层。

作为本发明的一种优选技术方案：所述卷积神经网络由输入开始，依次所包括各个层如下：

第一层卷积层，采用l₁个k₁×k₁卷积核针对分辨率为m×n的表情图像帧进行卷积操作，获得l₁个分辨率为m₁×n₁的特征图，其中，s₁表示本层卷积核的卷积步长，INT(·)表示取整函数；