[发明专利]基于颜色反卷积与自注意力模型的组织病理学图像分类方法

权利要求书

1.基于颜色反卷积与自注意力模型的组织病理学图像分类方法，其特征在于：其包括采用离线图像颜色反卷积方法或在线图像颜色反卷积方法；

离线图像颜色反卷积方法步骤如下：

S100、获取经过苏木精-伊红染色的组织病理学图像数据集，所述数据集中的组织病理学图像为标准的RGB三通道彩色图像，其像素构成矩阵H_t；

S200、将矩阵H_t中像素值为0的像素点值置为1×10^-7，之后对每个像素值进行标准化，构成新的矩阵H_t'；

S300、将新的矩阵H_t'与颜色反卷积标准矩阵相乘，得到矩阵D_t，矩阵D_t即为像素矩阵H_t颜色反卷积后的矩阵；

S400、对矩阵D_t进行归一化，得到矩阵D_t'，矩阵D_t'的所有元素都在区间[0,1]内；

S500、将矩阵D_t'中的每一个元素乘以255并保留整数，得到HED颜色空间图像；

S600、将HED颜色空间图像按一定的比例数量划分训练集、验证集、测试集，分别用于后续对模型进行训练、验证、评估，并对所有图像进行缩放；对训练集图像进行在线数据增强；

S700、对增强后的图像进行归一化以及标准化；

S800、使用在ImageNet数据集上预训练好的swin-transformer模型，将最后全连接层修改为单层MLP层，其中MLP层输出神经元个数为2，并将S700归一化后的训练集图像送入到模型中进行微调训练；

S900、训练过程中每隔固定的迭代次数使用验证集进行验证，选取迭代过程中在验证集上分类正确率最高的模型，之后使用测试集进行验证，从而得到最终的模型分类正确率。

在线图像颜色反卷积方法步骤如下：

T100、获取经过苏木精-伊红染色的标准的RGB三通道组织病理学图像数据集；

T200、将数据集中图像按一定的比例数量划分训练集、验证集、测试集，分别用于后续对模型进行训练、验证、评估，并对所有图像进行缩放，缩放成大小为w×w的图像，之后对训练集图像进行在线数据增强操作；

T300、对增强后的图像进行与步骤S400相同的归一化操作，以及与步骤S700相同的标准化操作；

T400、使用在ImageNet数据集上预训练好的swin-transformer自注意力模型，修改最后的全连接层，并在模型头部加入一个输入取反操作，即对每一个输入的数值x，都输出-x。之后再加入一层卷积层，记为conv1，其中卷积核大小为1×1，输入通道数与输出通道数都为3，不使用偏置参数，修改后的模型记为de-swt模型；

T500、使用在ImageNet数据集上预训练好的swin-transformer模型，将模型最后的全连接层改为单一的MLP层，MLP层输出神经元个数为2，并在模型头部加入一个输入取反操作，即对每一个输入的数值x，都输出-x，之后再加入一层卷积层，记为conv1，其中卷积核大小为1×1，输入通道数与输出通道数都为3，不使用偏置参数，修改后的模型记为de-swt模型；

T600、将颜色反卷积标准矩阵按列拆分成3个3×1的矩阵，将其加载到de-swt模型的conv1层的权重参数中；

T700、将步骤T300中标准化后的训练集输入到de-swt模型中，使用特定的学习率lr进行微调训练，为了防止de-swt模型在反向传播到conv1层时梯度消失，设置conv1层的学习率为p×lr，其中p为学习率放大倍数，利用p来增大模型在conv1层的学习率，使得conv1层的参数随着训练集的迭代而改变；

T800、在步骤T600的训练过程中，每隔一定的迭代次数间隔使用验证集数据对模型进行验证，选取在验证集上效果较优的模型，并提取模型conv1层的参数，按列组合为新的图像颜色反卷积矩阵，记为N；

T900、将颜色反卷积矩阵N的每一列数值加载到de-swt模型的conv1层参数中，并将在ImageNet数据集上预训练好的swin-transformer参数重新加载到de-swt模型其余相应的层中，将p设置为1，使得conv1层中的学习率重新设置为lr；

T1000、使用训练集对步骤T800得到的de-swt模型重新进行训练，每隔一定的迭代次数间隔使用验证集数据对模型进行验证，最终选取在验证集上正确率最高的模型，并用测试集测试模型分类结果，从而得到最终的模型分类正确率。