[发明专利]一种胶囊内窥镜图像病变识别装置及训练方法

说明书

一种胶囊内窥镜图像病变识别装置及训练方法，将胶囊内窥镜图像输入到多个复杂的教师网络，每个网络输出诊断结果、特征图和显著性图。集成教师网络的诊断结果，特征图和显著性图作为监督信号为学生网络提供额外的监督，从而将教师网络的知识传递到学生网络中。由此，本发明能够获得具有高诊断精度的轻量级模型。本发明中利用知识蒸馏算法将复杂网络的表达能力压缩到轻量级网络中，从而实现高精度且高效率的诊断。本发明中的每个教师网络可学习一类疾病的诊断，这样能够在该类疾病上取得更加精确的诊断效果，而学生网络通过学习多个精通不同疾病诊断的教师网络，可以实现对多类型疾病的高精度实时诊断。

技术领域

本发明涉及图像识别，特别是涉及一种胶囊内窥镜图像病变识别装置及训练方法。

背景技术

目前，深度学习模型在多种医疗疾病诊断任务中取得了很高的精度。但是高精度模型具有较高的复杂度，需要大量算力、内存和推断时间。然而在临床疾病诊断中，医院的算力资源有限，无法满足实时诊断的需要。为了提高推断效率，实现实时诊断，需要在临床实践中部署轻量级模型。但是现有的轻量级模型一般特征表达能力差，诊断精度低。为了真正地在临床诊断中实现实时诊断，需要开发出具有高诊断精度的轻量级模型。知识蒸馏框架又称为教师-学生网络，复杂的教师网络具有更强的拟合能力。现有方法将教师网络的知识通过预测结果、特征图、注意力图、样本间关系的形式传递给轻量级的学生网络，从而使得轻量级模型达到接近于复杂模型的诊断精度。如何高效的将教师网络的知识蒸馏到学生网络，以及将哪些知识蒸馏到学生网络，是知识蒸馏的主要研究课题。

需要说明的是，在上述背景技术部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的主要目的在于克服上述背景技术的缺陷，提供一种胶囊内窥镜图像病变识别装置及训练方法，以实现高精度且高效率的疾病诊断。

为实现上述目的，本发明采用以下技术方案：

一种胶囊内窥镜图像病变识别装置，包括计算机程序存储介质和处理装置，所述处理装置执行计算机程序时实现训练过程和测试过程；

所述训练过程包括如下步骤：

S1、将胶囊内窥镜图片输入到模型的教师网络1至N；

S2、对于每张胶囊内窥镜图片，由每个教师网络生成各自的特征图h*w*c,其中h,w,c分别为所述特征图的高度、宽度和通道数，通过对所述特征图的不同通道求平均，得到所述图片的显著性图；由模型进行分类任务或分割任务；

S3、对模型的预测结果和真实标签计算交叉熵损失；

S4、最小化交叉熵损失，不断更新模型参数，直到交叉熵损失不再下降，模型收敛；

S5、将所有教师网络生成的特征图、显著性图和预测结果合并，作为集成教师网络的指导信息；

S6、将胶囊内窥镜图片输入学生网络，通过知识蒸馏算法将集成教师网络的特征图、显著性图和预测结果传递给所述学生网络；

S7、根据交叉熵函数和各级知识蒸馏损失函数，得到所述学生网络的损失函数，通过优化所述损失函数训练学生网络，直至收敛；

所述测试过程包括如下步骤：

T1、将胶囊内窥镜图片输入已训练好的学生网络，得到图片的各类别预测概率，概率最大的类别为该测试图片的所属预测类别；

T2、对每个测试图像生成显著性图，可以根据显著值粗略地标注出图像的病变区域，为模型的预测提供解释性。

进一步地：

步骤S1中，所述教师网络选自DenseNet121、ResNet50、NASNet中的任一种。