[发明专利]一种基于双重注意力多示例深度学习的医学图像分类方法

说明书

本发明公开了一种基于双重注意力多示例深度学习的医学图像分类方法，该方法包含如下步骤：1)采集M个医学图像，并基于分类任务对原始图像设置正负标签；2)基于医学图像的体素特征，确定K个固定位置作为输入图像特征的采样点；3)对双重注意力的多示例深度学习网络模型进行训练；4)更新多示例学习模型；5)将新的医学图像输入至训练好的多示例学习模型中，判断该医学图像的类别标签。本发明能够增强局部辨识力并权衡不同区域的特征信息权重，更符合医学图像的实际情况图像，更有助于提高医学图像分类性能。

技术领域

本发明属于图像分类技术领域。

背景技术

医学图像具有高维和高尺寸的特点，但是医学图像含有大多数的无关背景信息，对最后的分类判断造成严重的干扰。例如在三维的结构性核磁共振(MR)图像判断局部微小的脑萎缩现象，在眼底视网膜图像上判断血管出血现象以及在组织图像中判断是否含有某个特定的细胞等。这些医学图像在不同类别上显示全局相似性，只有局部的差异，直接在完整图像上进行计算机分析往往性能较差。

传统的基于机器学习的医学图像分类方法通常将医学图像划分成多个区域进行分析，来克服在缺少医学先验知识的前提下直接分析完整图像的困难。依据划分的区域特征表示大小，目前的医学图像分类研究可以分为三类：1)体素级别(voxel-level)， 2)区域级别(region-level)，和3)图像块级(patch-level)方法。对于体素级方法，一般通过从医学影像提取所有体素级组织特征，来组成非常高维特征向量作为分类模型的输入特征。然而与庞大的特征数目相比，用于图像分类的训练图像往往非常少，由于医学影像的珍贵性和被试个体的稀有性。所以这类方法往往面临维度灾难(Curse of Dimensionality)和过拟合等问题。为了降低特征维度，区域级方法则基于从医学图像中分割的感兴趣区域(ROI)来进行分类预测，通过从ROI中提取某种生物特征来区分医学图像的类别。而这类方法是需要专家经验知识和专门的工具来手工提取特征的，是高成本和费时的。并且特征提取过程独立于之后的分类算法，两者之间存在异质性，容易造成次优的分类性能。而最近提出的块级方法被证明有效地描述医学图像中的局部结构变化。它是一种体素级和区域级之间的中间大小规模，更为灵活。并且图像块的中心位置可以通过特定数据驱动方法和统计学方法给出建议。然而，块级方法也面临许多挑战。比如块级标签定义模糊问题，不能直接用图像级标签定义图像块的标签。多示例学习作为一种弱监督学习被用来解决这个问题，但同时也存在很多问题。如Tong基于图像块特征值的欧几里得距离，以距离矩阵，构建图核作为全局特征，最后利用支持向量机进行分类。这种方法未考虑图像块内的空间信息。Liu等构建多个子卷积神经网络 (sub-CNN)学习块级特征表示，并将学得的块级特征按通道简单连接，最后用全连接网络分类。这种无差别连接块级特征组成全局特征是不合理的。因为医学图像中不同图像块含有的信息量权重是不同的。块级方法仍需要解决的主要难题在于如何组合局部的块级特征为一个可以代表整个图像信息的全局特征表示。

以上传统医学图像分类方法存在三个明显的缺陷：1)忽视了各个被划分的图像区域内的空间信息，和缺少对具有辨识力的结构部分的特征增强，这样容易造成不同个体特征差异过低从而分类性能较差。2)只提取目标区域的部分生物特征，可能未包含可用于图像分类的全部相关特征；只利用部分独立的区域特征，不能代表个体的整体特征。 3)无差别地组合局部区域的特征表示，然而不同的图像区域含有的信息量是不同，有些包含无关的信息甚至成为分类噪声。所以对信息量高的图像区域的特征增强和对无关的图像区域的特征减弱是非常重要的。

近来深度学习方法在医学图像分类方面表现较高的性能，相比与传统学习使用手工提取的特征，深度学习模型可以以纯数据驱动的方式自动学得任务相关的特征，从而消除特征学习与分类算法的异质性，提高了分类的性能。但是由于深度方法中神经网络的黑盒性质，目前的深度学习方法都缺少与分类任务相关的特征的定位的反馈。

发明内容

发明目的：为解决上述背景技术中存在的问题，本方发明提供了一种用于医学图像分类的双重注意力多示例深度学习模型。