[发明专利]一种基于图片Bert的组织病理图片分类方法

说明书

一种基于图片Bert的组织病理图片分类方法，本发明涉及组织病理检测中，对于正常与异常组织切片的分类问题。通过深度神经网络对于组织病理图片进行分类，可以有效地减少病理医生的工作量，提高诊断的准确性和效率。异常组织分类依赖于组织切片的局部和全局特征，传统的图片分类网络受模型大小和计算能力的限制，只能处理较小的图片，也难以结合全局特征进行分类。同时在对分类模型进行训练时，需要大量的标注数据，数据获取困难。针对以上问题，提出了一种基于图片Bert的组织病理学图片分类方法。试验结果表明，该方法能够有效地利用无标注信息进行训练，并结合全局特征对小图像进行编码，有效地提高了分类效果。该方法主要应用于组织病理图片分类。

技术领域

本发明设计一种基于图片Bert的组织病理图片分类方法。

背景技术

根据世界卫生组织(WHO)国际癌症研究机构(IARC)的最新报告，据估计，全球患癌症的人数正在快速增加，仅2018年一年，就有1810万新增患者，死亡人数达到960万。在本世纪末，癌症将是世界上的第一大“杀手”。而癌症在世界范围内发病率呈上升趋势，癌症的检测技术更加重要，只有早期发现、早期治疗，才能有效提高癌症的生存率。通过在可疑部位进行穿刺，获取活体组织进行检验，是癌症诊断的金标准，适合最后定诊。常规病理诊断全靠医生判断，工作量很大，同时由于医生的水平不同，容易造成误诊和漏诊。用计算机辅助医生进行病理诊断显得尤为重要，利用人工智能技术对癌症可能发生的部位进行筛选，由医生进行人工鉴别，可以有效地提高医生的工作效率，减少误、漏诊的发生。

组织学影像分类的目的是筛选出异常的组织学影像。医师对组织病理学的判断大多是通过多张组织病理切片的全景扫描图片，结合图片的整体特征和组织的局部特征进行综合判断。由于受到硬件和训练数据的限制，深度学习常常无法处理全景扫描图片，只能先对图片进行裁剪，然后利用小图片进行训练和判断，这样就导致小图片丢失了大图片的整体特征。而且深度学习模型的训练需要大量的标注数据，数据的标注需要专业人员花费大量的时间，这使得深度学习模型由于缺乏训练数据而表现不佳。针对上述问题，提出了一种基于图片Bert的组织病理学图片分类方法。

发明内容

本发明的目的是为了解决少量标记数据下的组织病理分类问题，提出一种基于图片Bert的组织病理图片分类方法。

上述发明目的主要是通过以下技术方案实现的：

S1.准备图片Bert训练集数据，具体步骤如下：

首先收集大量的组织病理全景图片，之后将全局图片按照一定顺序切割为等大小的图片，切割至大图边缘时，大小不足则使用白色区域将其填补为等大小图片。

S2.构建图片Bert模型，具体步骤如下：

图片Bert模型结构与Bert模型结构基本一致，但将网络的输入项、输出项设置为图片；将等大的小图片输入到图片Bert模型中，图片Bert模型会将输入图片x按规则切割为大小均等的补丁图片块x_p，输入图片处理要求为补丁图片块的处理要求为其中，(H,W)代表输入图片的宽和长，C是代表当前图片的通道数目，(P,P)为补丁图片块的尺寸，N代表补丁图片块的数目；输入小图片需要进行编码，编码过程如公式1所示：

其中，Z₀表示小图片的编码，表示输入的补丁图片块，N代表补丁图片块的数目，X_cls表示小图片的可学习标记位，模型训练完成后，该位置输出为输入图片的图片特征编码，E表示对补丁图片块的线性变换操作，E_pos表示补丁图片块位置信息，D表示图片Bert的编码长度；

在图片Bert模型的训练过程中，一次性输入多张小图片，需要为每张输入图片添加标志位，用以区分不同小图片，输入值如公式2所示：