[发明专利]一种基于Transformer双分支模型的皮肤病变图像分割方法

说明书

本发明属于计算机视觉技术领域，具体涉及一种基于Transformer双分支模型的皮肤病变图像分割方法；该方法构建并训练Transformer双分支模型，将待处理图像输入到训练好的Transformer双分支模型中得到分割结果；所述Transformer双分支模型包括主分支网络、辅助分支网络和信息聚合模块；本发明提出了一种新的皮肤病变图像分割方法，解决了传统深度学习方法提取全局上下文信息的不足，利用高效的多尺度视觉Transformer作为编码器，从而提取更强大且更好鲁棒性的特征，同时引入低级特征模块和高级特征融合模块，有效地提升网络的特征学习能力和分割性能。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于Transformer双分支模型的皮肤病变图像分割方法。

背景技术

皮肤病(dermatosis)是发生在皮肤和皮肤附属器官疾病的总称，常见的皮肤病有湿疹、荨麻疹、黄褐斑、水痘、色素障碍性皮肤病等。其中，恶性黑色素瘤是由皮肤和其他器官黑素细胞产生的肿瘤，它是导致皮肤肤色素性病变中最致命的一种皮肤癌。恶性黑色素瘤的发生率和死亡率逐年升高，根据皮肤癌基金会的统计数据，它的致死率甚至高达75％。恶性黑色素瘤除早期手术切除外，缺乏特效治疗，因此恶性黑色素瘤的早期诊断和治疗极其重要，但是由于皮肤的表面存在很多不可控因素，比如毛发、血管、颜色以及病变皮肤和未病变皮肤之间的对比度低等，经验丰富的专业医生不仅无法准确地判断出皮肤上的病变区域，还可能在判断时带有主观看法。因此需要借助计算机辅助诊断系统提高对黑色素瘤的检测，而对皮肤病图像的分割就是计算机辅助诊断里十分重要的环节。

传统的医学分割方法主要依赖于低级特征，如纹理、几何特征、简单的线性迭代聚类超像素等。这些方法实现起来程序繁琐，并且泛化能力较差，不能满足实际应用的复杂场景分割精度要求。近年来，深度学习在医学图像分割领域得到了广泛的应用，特别是U型网络结构，其采用多尺度特征进行重建的能力引起了极大的关注。这些方法在准确性和泛化能力上都取得了相当不错的效果。但是皮肤病图像存在大量噪声，图像本身边界区域模糊，皮肤的颜色不同，血管的模糊等都会影响模型对特征的提取，在皮肤病的边界区域也很难准确定位。基于CNN的模型在特征提取过程中执行下采样，以减少计算量，这样很容易导致细节信息丢失。因此，需要更多的全局上下文信息进行推理。但是由于卷积运算的局限性，很难直接在全局上下文信息上建模。

发明内容

为解决上述问题，本发明提供了一种基于Transformer双分支模型的皮肤病变图像分割方法，该方法构建并训练Transformer双分支模型，将待处理图像输入到训练好的Transformer双分支模型中得到分割结果；所述Transformer双分支模型包括主分支网络、辅助分支网络和信息聚合模块；

所述Transformer双分支模型的训练过程包括：

S1.获取皮肤病变图像数据集并进行预处理得到训练图像集；

S2.将训练图像输入到辅助分支网络提取低级特征并输出第二分割图；

S3.将辅助分支网络提取的低级特征输入到主分支网络提取出多尺度的高级特征，并输出第一分割图；

S4.采用信息聚合模块融合第一分割图和第二分割图得到最终分割图；

S5.通过最终损失函数计算损失并反向传播训练Transformer双分支模型，直至模型收敛。

进一步的，基于ResT架构搭建Transformer双分支模型，所述ResT架构包括依次级联的Steam模块、stage1模块、stage2模块、stage3模块和stage4模块；每个stage模块均包括一个块嵌入模块、一个位置编码模块和多个高效transformer模块，每个高效transformer模块均由EMSA、FFN以及残差链接构成；从ResT架构中的Steam模块处延伸出一条分支构建辅助分支网络；从ResT架构中的stage1模块到stage4模块各延伸出一条分支，通过这四条分支构建主分支网络。