[发明专利]一种基于Transformer双分支模型的皮肤病变图像分割方法

权利要求书

1.一种基于Transformer双分支模型的皮肤病变图像分割方法，其特征在于，构建并训练Transformer双分支模型，将待处理图像输入到训练好的Transformer双分支模型中得到分割结果；所述Transformer双分支模型包括主分支网络、辅助分支网络和信息聚合模块；

所述Transformer双分支模型的训练过程包括：

S1.获取皮肤病变图像数据集并进行预处理得到训练图像集；

S2.将训练图像输入到辅助分支网络提取低级特征并输出第二分割图；

S3.将辅助分支网络提取的低级特征输入到主分支网络提取出多尺度的高级特征，并输出第一分割图；

S4.采用信息聚合模块融合第一分割图和第二分割图得到最终分割图；

S5.通过最终损失函数计算损失并反向传播训练Transformer双分支模型，直至模型收敛。

2.根据权利要求1所述的一种基于Transformer双分支模型的皮肤病变图像分割方法，其特征在于，基于ResT架构搭建Transformer双分支模型，所述ResT架构包括依次级联的Steam模块、stage1模块、stage2模块、stage3模块和stage4模块；每个stage模块均包括一个块嵌入模块、一个位置编码模块和多个高效transformer模块，每个高效transformer模块均由EMSA、FFN以及残差链接构成；从ResT架构中的Steam模块处延伸出一条分支构建辅助分支网络；从ResT架构中的stage1模块到stage4模块各延伸出一条分支，通过这四条分支构建主分支网络。

3.根据权利要求2所述的一种基于Transformer双分支模型的皮肤病变图像分割方法，其特征在于，主分支网络中设有一个高级特征融合模块，用于将stage1模块、stage2模块、stage3模块和stage4模块输出的不同尺度的高级特征在解码过程中进行级联融合和跳转连接，具体包括：

S11.stage1模块输出高级特征X₁，stage2模块输出高级特征X₂，stage3模块输出高级特征X₃，stage4模块输出高级特征X₄；

S12.对高级特征X₄上采样后分别经过卷积单元和得到特征和特征将特征和高级特征X₃的乘积与特征进行拼接，通过卷积单元处理该拼接结果得到融合特征图X₃′；

S13.对融合特征图X₃′上采样后经过卷积单元得到特征X₃″₁，对特征和高级特征X₃的乘积上采样后与高级特征X₂相乘得到特征X₃″₂，将特征X₃″₂与特征X₃″₁进行拼接后经过卷积单元得到融合特征图X₂′；

S14.对融合特征图X₂′上采样后经过卷积单元得到特征X₂″₁，对特征X₃″₂上采样后与高级特征X₁相乘得到特征X₂″₂，将特征X₂″₂与特征X₂″₁进行拼接后依次经过卷积单元和卷积单元得到第一分割图T₁。