[发明专利]内窥镜图像分类模型的训练方法、图像分类方法和装置

权利要求书

1. 一种基于多专家决策的内窥镜图像分类模型的训练方法，其中所述内窥镜图像分类模型包括由多个专家子网络构成的教师网络和与所述专家子网络具有相同结构的学生网络，所述方法包括：

获取训练数据集，所述训练数据集包括多个内窥镜影像图像以及所述多个内窥镜影像图像的标注标签，其中所述训练数据集呈现长尾分布；以及

基于所述训练数据集对所述内窥镜图像分类模型进行训练，直到所述内窥镜图像分类模型的目标损失函数收敛，以获得训练完成的内窥镜图像分类模型，

其中，所述目标损失函数是至少基于所述多个专家子网络的相应多个输出结果来确定的，

其中，基于所述训练数据集对所述内窥镜图像分类模型进行训练包括：将所述训练数据集中的图像样本输入到所述多个专家子网络中的每一个中和所述学生网络中；利用所述多个专家子网络，生成针对所述图像样本的相应的多个专家子网络输出结果；基于所述多个专家子网络输出结果，生成所述内窥镜图像分类模型的最终输出结果；利用所述学生网络来生成针对所述图像样本的相应的学生网络输出结果；以及基于至少所述多个专家子网络输出结果、所述最终输出结果以及所述学生网络输出结果，通过目标损失函数来计算损失值，并基于所述损失值调整所述内窥镜图像分类模型的参数，

其中，所述目标损失函数是所述教师网络的损失函数和所述学生网络的损失函数的加权和；

所述教师网络的损失函数的权重值和所述学生网络的损失函数的权重值之和为1，并且其中所述教师网络的损失函数的权重值随着训练的迭代而不断减小，直到最终减小为0，所述学生网络的损失函数的权重值随着训练的迭代而不断增加，直到最终增加为1；

其中，所述教师网络的损失函数包括：基于所述内窥镜图像分类模型的最终输出结果与图像样本的标注标签而确定的交叉熵损失函数，以及基于所述多个专家子网络输出结果而确定的KL散度，其中，通过最小化交叉熵损失函数来使得模型最终的输出结果与真实标签更接近，以及通过最小化负的KL散度来使得各个专家子网络输出结果的分布之间的差异最大化，以及

所述学生网络的损失函数包括：基于所述学生网络的学生网络输出结果与所述内窥镜图像分类模型的最终输出结果而确定的交叉熵损失函数，以及基于所述学生网络的学生网络输出结果与所述多个专家子网络所生成的多个专家子网络输出结果所确定的KL散度。

2.根据权利要求1所述的方法，其中，所述内窥镜图像分类模型还包括共享子网络，其中，基于所述训练数据集对所述内窥镜图像分类模型进行训练包括：

将所述训练数据集中的图像样本输入到所述共享子网络中以提取浅层特征表示;

基于所提取的浅层特征表示，利用所述多个专家子网络生成针对所述图像样本的相应的多个专家子网络输出结果；

基于所述多个专家子网络输出结果，生成所述内窥镜图像分类模型的最终输出结果；以及

基于至少所述多个专家子网络输出结果和所述最终输出结果，通过目标损失函数来计算损失值，并基于所述损失值调整所述内窥镜图像分类模型的参数。

3.根据权利要求1或2中任一项所述的方法，其中，基于所述多个专家子网络输出结果，生成所述内窥镜图像分类模型的最终输出结果包括：

将所述多个专家子网络输出结果进行融合，以作为所述内窥镜图像分类模型的最终输出结果。

4.根据权利要求3所述的方法，其中，将所述多个专家子网络输出结果进行融合包括：

对所述多个专家子网络输出结果进行加权平均。

5. 根据权利要求2所述的方法，其中，所述共享子网络包括Vision Transformer，所述多个专家子网络中的每一个包括多层依次连接的Transformer编码器，以及一个分类器。

6.一种内窥镜图像分类方法，包括：

获取待识别的内窥镜图像；

基于训练好的内窥镜图像分类模型中的教师网络，获得所述内窥镜图像的分类结果；

其中，所述训练好的内窥镜图像分类模型是基于根据权利要求1-5中任一项所述的内窥镜图像分类模型的训练方法所获得的。