[发明专利]基于自我修正式标签生成网络的胸片多标签分类方法

说明书

本发明属于医学图像处理领域，具体为基于自我修正式标签生成网络的胸片多标签分类方法。本发明通过构建自我修正式标签生成网络模型，用于胸片的多标签分类；该网络包括：ResNet图像编码器、自我修正式注意力机制模块以及GRU解码器；图像编码器用于获取输入图像即胸片图像的高层语义特征，生成图像特征表示，并输出至自我修正式注意力机制模块中；自我修正式注意力机制模块在每个时刻根据之前时刻所输出的状态信息和图像特征生成对应于当前时间步的注意力图谱，并向解码器输出上下文特征向量；解码器根据上下文特征向量和之前时刻生成的标签词向量，生成当前时刻图像所对应的标签。本发明有效解决了胸片多标签分类中的预测效果不平衡问题。

技术领域

本发明属于医学图像处理领域，具体涉及胸片的多标签分类方法。

背景技术

胸片广泛用于临床诊断和治疗，是检测和诊断胸部异常的主要手段之一。专业医师阅读胸片并撰写文本报告以阐述研究结果。这是一项需要丰富医学经验和高度专注的工作，对于没有经验的医生而言，诊断医学影像很容易出现错误。而对于人口稠密之地的医生而言，阅读医学影像既费时又乏味。所以，研究计算机辅助诊疗算法以帮助医生更好地诊断医学影像是一项十分重要的工作。

一般情况下，胸片通常含有一个或多个疾病标签，所以这是一个图像多标签分类问题。近年来，深度学习技术快速发展并在图像分类领域已取得显著进步。这促使越来越多的研究人员尝试利用卷积神经网络来解决胸片的多标签分类问题。一种比较常见的解决方式是将多标签分类问题看作多个单标签的二分类问题，分别利用卷积神经网络(Convolutional Neural Network,CNN)进行处理。有研究学者提出一个基于残差网络(Residual Network,ResNet)的多标签分类框架并将其迁移至胸片分类问题中，尝试不同池化方法以获得更好效果，并且还设计加权的损失函数以缓解正样本数量极度稀缺的情况。其他研究学者提出一个名为CheXNet的深度学习框架并声称该模型在检测肺炎的任务上已经可以超越人类医生。也有研究学者提出基于类别的空间注意力机制，以帮助模型更好地关注到每个标签对应的异常区域。

但是，上述这些方法都将多标签问题看作多个独立的单标签问题，从而忽略标签之间的关联。疾病之间存在一定关联，如肺渗透通常会与肺扩张和肺积水有一定关联。所以，这些方法都会出现预测效果的不平衡现象，即模型在较为容易预测的标签上面具有很好效果，但在较难预测的标签上表现很差。

为此，研究人员开始着眼于疾病标签关联性的研究。有研究学者这使用空间正则化网络(Spatial Regularization Network,SRN)来帮助模型关注到潜在的异常区域并利用可学习的卷积操作捕捉标签之间潜在的空间关联。也有研究学者设计一个级联网络来捕捉标签之间的潜在关联。然而，这些捕捉到的潜在隐层关联只是标签关联的一种模糊表示，并不能改善模型在多标签之间表现不平衡的现象。在自然图像的多标签分类问题上表现良好的循环神经网络(Recurrent Neural Network,RNN)框架也曾被用于医学图像上。有研究学者利用RNN框架来捕捉标签之间的关联性和共现性，其模型的每个时间步对应于一个分类器，用于预测某一标签的存在与否，因此RNN的时间步长度和标签数量一致。但这类模型并非真正意义上的标签生成模型，因为RNN在其中的作用为连接一系列的二分类器，等同于先将多标签分类看作多个单标签分类问题，再使用RNN将这些分类器连接在一起。除此之外，该模型会受到预测顺序的影响，若两个相关性较高的标签被排列得很远，则会对RNN捕捉关联性造成一定难度。若两个无关的标签被排列得很近，则无用的关联性会被捕捉和存储在RNN中，对后续关联性的捕捉产生一定影响，该缺点在标签数量较大时会变得更加明显。