[发明专利]一种基于多通道协同胶囊网络的结肠癌病理学图像分类方法

权利要求书

1.一种基于多通道协同胶囊网络的结肠癌病理学图像分类方法，包括如下步骤：

(1)收集医疗图像领域不同类别的结肠癌病理学图像数据，并对不同类别数据进行预处理，得到训练数据；具体步骤如下：

(1.1)收集数据：收集医疗图像领域不同类别的结肠癌病理学图像，包括结肠癌组织的间质、脂肪、复合体、空腔、粘膜、碎片、淋巴，肿瘤的分类；

(1.2)对图像进行尺寸归一化：对图像进行处理分析，进行数据标准化处理；利用Min-Max Normalization方法进行标准化，使结果值映射到[0，1]之间，转换函数如下：

(1.3)图像类别标签化:这里我们深度学习数据标签处理One-Hot Encoder，而不采用Label Encoder；因为One-Hot编码，主要是采用N位状态寄存器来对N个状态进行编码，使得每个状态都有它独立的寄存器位，并且在任意时候只有一位有效；

(1.4)将图像进行数据扩充处理：采用数据扩充的方式增加训练数据从而增加数据的鲁棒性和泛化能力；包括对图像的旋转/反射变换Rotation/reflection、翻转变换flip、缩放变换zoom、平移变换shift、尺度变换scale；

(1.5)划分数据集：将收集到的结肠癌病理学图像数据按照留出法划分为训练集样本A1、验证集样本A2以及测试集样本A3；

(2)胶囊网络的动态路由机制构建网络模型，在特征提取层利用多输入特征融合方式进行图片的特征提取，同时在胶囊层并行多个通道，即在通道中引入DropCircuit用来促进通道之间的独立性来增强泛化来加速训练，然后利用胶囊网络损失函数margin loss对模型进行训练，用来计算预测值与真实值的差距，利用动态路由算法Dynamicroutingalgorithm不断进行迭代优化，得到一个最佳的模型并保存；具体步骤如下：

(2.1)权重自调节特征融合：考虑到卷积网络在对图片特征提取方面的实用性和高效性，采用多输入的特征融合层作为特征提取器，特征提取层输入式(1)中预处理的图像来用于特征提取；利用特征融合可以除去冗余信息和无关特征，来达到特征的选择与合并的效果，从而达到提高模型泛化能力，组合的特征更加突出；特征融合方式可分为多数表决和加权多数表决；加权多数表决是对多数表决的进一步优化，分类器在给某些特征加上权重之后，将会赋予其更大的权重；在这里将样本空间设为Rⁿ，通过两种不同方式来进行特征提取，得到两组特征空间A和B，在样本空间中存在任一样本x∈Rⁿ都有两特征α∈A，β∈B，其中α是n维向量，β是m维向量；

(i)特征融合串行方式可以表示为：则融合后的特征向量δ为n+m维；

(ii)特征融合并行方式可以表示为δ＝α+iβ，式子中i表示虚数单位，若n≠m，则维数低的那一方用0补齐；特征维度以维度高的为准；

对于不均衡特征向量α、β，增加权重方式来平衡特征：

1)将初始特征α,β转为单位向量，

2)根据特征向量的维度调整权重；设权重为加权重后特征融合串行方式可以表示为并行方式可以表示为δ＝α+iθβ；这种方式虽然可以调整不同特征之间的差异，但如何获得权重仍是一个待解决的难题；设θ根据经验一般取值为κ～κ²；

在MC-CapsNet特征提取层，采用并行加权特征融合方式融合，根据每个特征自身长度自动调节特征权重，增加了模型的泛化能力；

(2.2)引入胶囊网络：胶囊网络的胶囊层结构为主胶囊层PrimaryCaps Layer、数字胶囊层DigitCaps Layer和类别输出层output Layer；

对于胶囊网络，胶囊的输出向量由两部分表示:其方向表示对象的图形属性；其长度表示实例出现的概率；

胶囊网络CapsNet通过动态路由将信息从一层路由到另外一层，即通过较低级别的胶囊预测较高级别的胶囊的结果；只有在这些预测结果一致的情况下，较高级别的胶囊才会被激活；

将u_ij作为较低级别胶囊i的输出，通过矩阵变换来对较高水平的胶囊j进行预测，矩阵变换的公式如下：

其中W_ij为低层特征和高层特征的空间关系，是可以通过反向传播来学习的权值矩阵，如果预测与高级别胶囊实际输出一致，则两个胶囊之间的耦合系数c_ij增大；可以利用下面的softmax函数计算耦合系数，公式如下：

其中b_ij为胶囊i和胶囊j之间的连接概率，初始值为0，则高层l+1胶囊j的输出向量s_j计算公式如下：

输出向量的长度可以代表存在的可能性，下面是一个非线性激活函数Squash，这个函数使得v_j长度不超过1，同时又保证了v_j和s_j保持了同一个方向，防止了输出的向量超过一个，公式如下：

s_j和v_j分别代表胶囊j的输入向量和输出向量；通过对较低级别i胶囊与较高级别j胶囊之间连接概率b_ij进行更新，用于下一次路由，连接概率b_ij公式如下：

如前所述，式(2)-(6)构成了计算v_j的一个完整的路由过程；

胶囊网络损失函数margin loss，用来计算预测值与真实值之间的误差的胶囊网络损失函数公式如下：

l_k＝T_kmax(0,m⁺-||ν_k||)²+λ(1-T_K max(0,||ν_k||-m^-))² (7)

在T_K为1则表示类k存在，其中m⁺＝0.9，m^-＝0.1和λ＝0.5作为超参数参与训练；总损耗就是最后一层所有输出胶囊损耗的总和；

(2.3)引入多通道：原胶囊网络胶囊有两个主要类型,即主胶囊层PrimaryCaps Layer和数字胶囊层DigitCaps Layer；主胶囊层获得特征融合层传递过来的输出向量作为其输输入向量；然后使用动态路由协议将主胶囊层的输出路由到下一个数字胶囊层；在这里将胶囊网络重建，从初级胶囊开始，即特征融合层后面建立多个通道，每个通道上都有一个主胶囊层，叫做多通道主胶囊层MC-PrimaryCaps Layer，使用一种称为DropCircuit的drop技术来增强泛化；DropCircuit是dropout对多通道架构的一种适应，在这种架构中，不同通道中在训练中被drop，通过促进多通道之间的独立性来增强泛化，让网络结构可以并行的进行训练，通过并行协作方式分解学习，加速网络的训练；

动态路由是主胶囊PrimaryCaps路由到数字胶囊DigitCaps的机制，这样主胶囊的通过类似投票方式对目标数字胶囊的作出贡献；使用动态路由算法基于输出v_j代表投票的预测向量之间的相似性来更新投票的贡献，并使用点积作为相似性的度量，计算步骤(2.2)中的公式(4)，式中c_ij为两个胶囊之间的耦合系数，b_ij为连接概率；对路由方式进行了修改，将所有来自主胶囊对数字胶囊的贡献进行权重归一化，其总和为1.0，归一化公式如下：

式中，b_ij^(mc)为每个通道上低级胶囊到高级胶囊的连接概率，c_ij^(total)为总通道上的耦合系数；

MC-CapsNet计算精度损失与原胶囊网络相同，采用胶囊网络损失函数作为损失函数；

(2.4)在训练过程中，利用胶囊网络损失函数margin loss神经网络模型预测值，计算与实际值的差距，利用多通道动态路由算法不断的优化函数，不断的进行迭代优化，得到一个最佳的模型M_A1并保存；具体步骤如下：

(i)设置超参数，利用Adam优化函数进行优化训练；

(ii)设置为训练模式，然后模型将会使用训练集样本A1作为训练数据并开始训练，初步确定超参数；由于模型数据数据量比较大，设置小的batch_size与epochs进行模型的预训练与调参，这样可以在模型训练的早期阶段确定部分超参数，减少后面的调参工作量；

(iii)经过验证集样本A2验证，为了得到较好数据集分类效果，需要在训练期间根据评价指标优化超参数；在本实施例的训练过程中，通过逐步调整通道的数n，调节网络模型，同时根据评价指标调节学习率，迭代次数等参数细化模型超参数；调节参数时，需要中断训练进程，设置参数后再重新启动作业；

(iv)设置测试验证评估模式，然后模型将会测试集样本A3作为验证数据对正在训练的模型进行验证，并记录损失值；评估模式将保存到目前为止在验证数据上获得最低损失值的模型，通过不断的迭代训练，即可保存一个最佳模型M_A1；

(3)在模型测试阶段，采用召回率Recall、精准率Precision和F1分数F1-Score用来对算法进行分类性能的评估；具体步骤如下：

(3.1)设置测试验证评估模式，利用测试数据集A3作为测试数据，然后将利用步骤(2.4)训练得到的最佳模型M_A1；使用A3作为测试数据进行验证；

(3.2)使用Recall、Precision和F1-Score用来对算法进行分类性能的评估；其中召回率和精准率公式如下：

式中TP代表真正例样本数，FP代表假正例样本数，FN代表假负例样本数，TN代表真负例样本数；

F1-Score公式如下：

其中F1可以表示为衡量分类模型精度的一个指标，表示召回率和精确率的调和平均数，取值范围0-1之间，分数越高则代表分类能力越强，用于综合反应整体指标。

2.如权利要求1所述的一种基于多通道协同胶囊网络的结肠癌病理学图像分类方法，其特征在于：步骤(1.5)按照8:1:1的比例将收集到的结肠癌病理学图像数据分为训练集样本A1、验证集样本A2以及测试集样本A3。