[发明专利]一种基于图片Bert的组织病理图片分类方法

权利要求书

1.一种基于图片Bert的组织病理图片分类方法，其特征在于，包含如下步骤：

S1.准备图片Bert训练集数据；

S2.构建图片Bert模型；

S3.训练图片Bert模型；

S4.构建基于图片Bert的组织病理图片分类模型，训练得到最终分类模型；

S5.利用基于图片Bert的组织病理图片分类模型确定组织病理图片类别。

2.如权利要求1所述一种基于图片Bert的组织病理图片分类方法，其特征在于，步骤S1中准备图片Bert训练集数据，具体为：

首先收集大量的组织病理全景图片，之后将全局图片按照一定顺序切割为等大小的图片，切割至大图边缘时，大小不足则使用白色区域将其填补为等大小图片。

3.如权利要求1所述的一种基于图片Bert的组织病理图片分类方法，其特征在于，步骤S2构建图片Bert模型具体步骤如下：

图片Bert模型结构与Bert模型结构基本一致，但网络的输入项、输出项均为图片；将等大的小图片输入到图片Bert模型中，图片Bert模型会将输入图片x按规则切割为大小均等的补丁图片块x_p，输入图片处理要求为补丁图片块的处理要求为其中，(H,W)代表输入图片的宽和长，C是代表当前图片的通道数目，(P,P)为补丁图片块的尺寸，N代表补丁图片块的数目；输入小图片需要进行编码，编码过程如公式1所示：

其中，Z₀表示小图片的编码，表示输入的补丁图片块，N代表补丁图片块的数目，X_cls表示小图片的可学习标记位，模型训练完成后，该位置输出为输入小图片的特征编码，E表示对补丁图片块的线性变换操作，E_pos表示补丁图片块位置信息，D表示图片Bert的编码长度；

在图片Bert模型的训练过程中，一次性输入多张小图片，需要为每张输入图片添加标志位，用以区分不同小图片，输入值如公式2所示：

其中，Y表示图片Bert模型的整体输入，Z₀,Z₁,…,Z_m表示多张输入图片的编码，m表示输入图片的总张数，E_seg表示一组区分码，每一张输入图片对应其唯一的区分码。

4.如权利要求1所述的一种基于图片Bert的组织病理图片分类方法，其特征在于，步骤S3训练图片Bert模型具体步骤如下：

为了实现小图片编码时携带组织病理全景扫描图的全局特征，同时获得小图片周围环境的信息，设计了两个预训练任务：

训练任务一是预测遮蔽补丁任务；随机掩蔽隐藏一定比例的输入信息，通过模型输出预测掩蔽信息的方式，使每个掩蔽图片块在编码时都能与周围图片信息联系起来；

训练任务二是预测两张小图片是否在原图中相邻；首先按一定顺序排列小图片位置，以达到以下排列效果：每一张小图片的邻域位置放置的其他小图片，p的概率为真实相邻小图片，(1-p)的概率是非相邻小图片；接着模型在训练时，引入相邻图片检测任务，即判断每张小图片邻域位置是否是其真实的相邻小图片，完成对不同邻域位置关系的学习；最后，通过对不同邻域位置关系的学习，从而使小图片特征能够包含具有全局特征的信息。

5.如权利要求1所述的一种基于图片Bert的组织病理图片分类方法，其特征在于，构建基于图片Bert的组织病理图片分类模型，训练得到最终分类模型，具体步骤如下：

使用训练过的图片Bert来构建新的分类神经网络；在图片Bert的输出层之后，依次添加Bi-LSTM(Bi-directional Long Short-Term Memory)模块、全连接模块；其中，Bi-LSTM对于图片输出做进一步特征提取，全连接网络用于对于类别进行预测；用未标注数据训练出的图片Bert具有丰富的组织病理知识，并具有很强的信息编码能力，对小图进行编码可以使其包含更多的先验知识，而用图片Bert构造的分类模型，可以利用少量的标记数据进行迁移学习，取得较好的分类效果。

6.如权利要求1所述的一种基于图片Bert的组织病理图片分类方法，其特征在于，利用基于图片Bert的组织病理图片分类模型确定组织病理图片类别，具体步骤如下：

首先对组织病理图片进行处理，得到长宽分别为W和H的C通道图片；基于图片Bert的组织病理图片分类模型同时对多张组织病理图片进行分类，根据模型输入要求，选择m张图片输入模型；如果待分类的图片数目少于m个，则使用空白图片进行填充；最后便可以通过模型的全连接层输出得到m张图片的类别。