[发明专利]面向不配对跨模态图像分割模型的生成及分割方法、装置

说明书

本发明公开了一种面向不配对跨模态图像分割模型的生成以及分割方法、装置，包括：获取至少两种不同模态的未配对医学图像，并分别输入至对应的图像嵌入模块中，以获取不同模态的嵌入特征图；将不同模态的嵌入特征图输入至预设训练模型中，以获取不同模态在多个尺度上的特征图；根据不同模态的原始模态感知查询以及特征图，通过外部注意力模块，确定不同模态在多个尺度上的模态感知查询，以及不同模态在多个尺度上的感知语义相关图；将不同模态的特征图在多个尺度上进行全局对齐，以确定对齐损失；根据对齐损失，对预设训练模型进行迭代训练，直至对齐损失符合预设优化条件时，生成实际分割模型。减轻数据差异，使得模型具有更强的泛化性。

技术领域

本发明涉及图像分割技术领域，尤其涉及一种面向不配对跨模态图像分割模型的生成以及分割方法、装置、计算机设备及存储介质。

背景技术

近年来，整合多模态数据提高医学图像分析水平受到广泛关注，但是由于不同模态的医学图像数据之间的差异，导致不同模态的医学图像数据之间存在一定的域偏移，如何解决不同模态医学图像数据之间的域偏移，逐渐成为当前亟待解决的问题。

目前，可以通过联合多模态表征学习来减轻多模态医学图像数据的域偏移。具体通过在训练阶段直接对齐来自不同模态的特定类别表示或者空间位置的特征表示。然而，这种联合多模态表示学习需要具有空间对齐性质的多模态医学图像，例如多序列MRI(T1、T1c、T2、FLAIR)。因此其在处理空间错位的未配对多模态医学图像是不可行的。而最近提出的四种双流CNN模型，通过对各个模态分配特定的特征提取器，以缓解未配对CT和MRI图像之间的域偏移问题。但是，该方法极大地影响了模型的参数效率，并限制了模型在处理更多模态数据的泛化能力。

由此可知，目前在对多模态医学图像进行分析预测时，存在精度不够，且模型的泛化能力差的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种面向不配对跨模态图像分割模型的生成以及分割方法、装置、计算机设备及存储介质，以解决现有技术中在对多模态医学图像进行分析预测时，精度不够，且模型的泛化能力差的问题。

第一方面，本申请提供了一种面向不配对跨模态图像分割模型的生成方法，包括：

获取至少两种不同模态的未配对医学图像，并分别输入至对应的图像嵌入模块中，以获取不同模态的嵌入特征图；

将所述不同模态的嵌入特征图输入至预设训练模型中，以获取不同模态在多个尺度上的特征图；

根据不同模态的原始模态感知查询以及所述不同模态在多个尺度上的特征图，通过外部注意力模块，确定不同模态在多个尺度上的模态感知查询，以及不同模态在多个尺度上的感知语义相关图；

根据所述不同模态在多个尺度上的模态感知查询，以及不同模态在多个尺度上的感知语义相关图，将所述不同模态的特征图在多个尺度上进行全局对齐，以确定对齐损失；

根据所述对齐损失，对所述预设训练模型进行迭代训练，直至所述对齐损失符合预设优化条件时，生成实际分割模型。

在一实施例中，所述根据所述不同模态在多个尺度上的模态感知查询，以及不同模态在多个尺度上的感知语义相关图，将所述不同模态的特征图在多个尺度上进行全局对齐，以确定对齐损失，包括：

根据所述不同模态在不同尺度上的模态感知查询，计算所述不同模态的未配对医学图像之间的一致性，以确定第一损失；

根据所述不同模态在不同尺度上的感知语义相关图，计算不同模态的特征图在多个尺度上的语义相关性，以确定第二损失；

根据所述第一损失以及第二损失，确定所述对齐损失。