[发明专利]面向不配对跨模态图像分割模型的生成及分割方法、装置

权利要求书

1.一种面向不配对跨模态图像分割模型的生成方法，其特征在于，所述方法，包括：

获取至少两种不同模态的未配对医学图像，并分别输入至对应的图像嵌入模块中，以获取不同模态的嵌入特征图；

将所述不同模态的嵌入特征图输入至预设训练模型中，以获取不同模态在多个尺度上的特征图；

根据不同模态的原始模态感知查询以及所述不同模态在多个尺度上的特征图，通过外部注意力模块，确定不同模态在多个尺度上的模态感知查询，以及不同模态在多个尺度上的感知语义相关图，其中，所述模态感知查询为不同模态的全局类别表示，所述感知语义相关图用于呈现某个模态中特定实例内的类别关系；

根据所述不同模态在多个尺度上的模态感知查询，以及不同模态在多个尺度上的感知语义相关图，将所述不同模态的特征图在多个尺度上进行全局对齐，以确定对齐损失；

根据所述对齐损失，对所述预设训练模型进行迭代训练，直至所述对齐损失符合预设优化条件时，生成实际分割模型。

2.如权利要求1所述面向不配对跨模态图像分割模型的生成方法，其特征在于，所述根据所述不同模态在多个尺度上的模态感知查询，以及不同模态在多个尺度上的感知语义相关图，将所述不同模态的特征图在多个尺度上进行全局对齐，以确定对齐损失，包括：

根据所述不同模态在不同尺度上的模态感知查询，计算所述不同模态的未配对医学图像之间的一致性，以确定第一损失；

根据所述不同模态在不同尺度上的感知语义相关图，计算不同模态的特征图在多个尺度上的语义相关性，以确定第二损失；

根据所述第一损失以及第二损失，确定所述对齐损失。

3.如权利要求1所述面向不配对跨模态图像分割模型的生成方法，其特征在于，所述根据不同模态的原始模态感知查询以及所述不同模态在多个尺度上的特征图，通过外部注意力模块，确定不同模态在多个尺度上的模态感知查询，以及不同模态在多个尺度上的感知语义相关图，包括：

将所述不同模态的原始模态感知查询以及不同模态在第一尺度上的特征图输入至第一外部注意力模块中，以获取不同模态在第一尺度上的模态感知查询以及感知语义相关图；

将所述不同模态在第一尺度上的模态感知查询以及不同模态在第二尺度上的特征图输入至第二外部注意力模块中，以获取不同模态在第二尺度上的模态感知查询以及感知语义相关图；

将所述不同模态在第二尺度上的模态感知查询以及不同模态在第三尺度上的特征图输入至第三外部注意力模块中，以获取不同模态在第三尺度上的模态感知查询以及感知语义相关性。

4.如权利要求1所述的面向不配对跨模态图像分割模型的生成方法，其特征在于，所述将所述不同模态的嵌入特征图输入至预设训练模型中，以获取不同模态在多尺度上的特征图，包括：

将所述不同模态的嵌入特征图输入至所述预设训练模型的编码器中，在不同尺度上逐级对所述嵌入特征图进行下采样操作，以获取多个尺度上的第一特征图；

将所述第一特征图输入至所述预设训练模型的解码器中，在不同尺度上逐级对所述第一特征图进行上采样操作，以获取多个尺度上的第二特征图；

将所述多个尺度上的第一特征图以及所述多个尺度上的第二特征图中，分辨率一致的特征图，进行逐元素相加，以获取所述不同模态在多尺度上的特征图。

5.如权利要求4所述的面向不配对跨模态图像分割模型的生成方法，其特征在于，所述编码器包括n个阶段，所述逐级对所述嵌入特征图进行下采样操作，包括:

在所述编码器的第1阶段中，将所述嵌入特征图的维度转换为预设嵌入特征维度；

在所述编码器的2至n阶段中，逐级对所述嵌入特征图进行下采样操作，以逐级增加所述预设嵌入特征维度。

6.如权利要求5所述的面向不配对跨模态图像分割模型的生成方法，其特征在于，所述解码器包括n个阶段，所述将所述第一特征图输入至所述预设训练模型的解码器中，在多个尺度上逐级对所述第一特征图进行上采样操作，包括：

在所述解码器的1至n-1阶段中，逐级对所述第一特征图进行上采样操作，以将所述第一特征图的维度恢复至所述预设嵌入特征维度。