[发明专利]多模态影像自动勾画模型迁移方法

权利要求书

1.一种多模态影像自动勾画模型迁移方法，其特征在于，包括：

采集来自多个数据源的医学图像，并处理得到源数据集；

用所述源数据集训练一个基于卷积神经网络的自动勾画模型以及一个基于自编码器的特征自编码模型；

将训练好的自动勾画模型和特征自编码模型部署到各个医院；

对医院可用数据，根据其是否已经有医生的标注、分别用自动勾画模型和特征自编码模型来挑选匹配数据，利用挑选出的数据对自动勾画模型进行在线迁移学习，使其适应各医院的数据特征；

其中，利用在线迭代优化的思路对自动勾画模型进行迁移学习，使其适应各医院的数据特征包括：

如果医院数据未经过医生标注，则利用特征自编码模型在数据池中挑选高匹配数据，利用所述高匹配数据对自动勾画模型进行优化训练，优化后的模型对剩余数据再次挑选一批匹配数据进行下一轮的优化训练，不断重复以上迭代优化训练过程，直到自动勾画模型适应医院的数据特征，在所述医院的测试数据集上达到目标勾画精度；

如果医院有标注数据，则利用自动勾画模型对数据进行勾画，根据勾画精度挑选出差异最大的一批数据，利用这些数据及医院的标注直接对自动勾画模型进行finetuning，使其直接适应该医院的数据特征；

其中，采集来自多个数据源的医学图像作为源数据集包括：

采集来自不同医院、不同成像设备以及不同成像参数的医学数据，所述医学数据包括病人的医学影像数据和医生手动勾画的放疗靶区和危及器官的轮廓数据；

对采集到的数据进行预处理，包括：空间分辨率归一化、方向归一化、裁剪ROI和尺寸归一化；

对预处理数据进行图像质量、图像形貌、图像空间特征等方面的增广，进一步增加数据的多样性；

对处理后的数据按照8:1:1的比例划分训练集、验证集和测试集。

2.如权利要求1所述的多模态影像自动勾画模型迁移方法，其特征在于，所述多个数据源为不同医院、不同成像设备和不同成像参数。

3.如权利要求1所述的多模态影像自动勾画模型迁移方法，其特征在于，所述医学图像为CT、CBCT、MRI或PET。

4.如权利要求1所述的多模态影像自动勾画模型迁移方法，其特征在于，训练一个基于卷积神经网络的自动勾画模型包括：

自动勾画模型为典型的编码-解码结构，编码部分由3个卷积下采样模块组成，每个卷积下采样模块由2个卷积层、1个ReLu激活层、1个dropout层、1个batchNormalization层，再加1个maxPooling层串联而成，解码部分由3个卷积上采样模块组成，卷积上采样模块与卷积下采样模块的唯一差别是，将最后的maxPooling层替换成一个反卷积层，每个卷积下采样模块在maxPooling之前，有1个残差输出、连接到对应的上采样卷积模块，以弥补下采样操作带来的细节损失，最后网络输出N+1通道的概率图，每个通道表示各像素属于该通道对应的临床靶区或危及器官的概率，其中N为临床靶区的类别数或者危及器官的数量；

自动勾画模型在训练时，用上述处理好的训练集输入网络，将网络输出的概率图与金标准groundtruth计算损失函数，然后通过反向传播算法迭代优化模型参数。

5.如权利要求1所述的多模态影像自动勾画模型迁移方法，其特征在于，训练一个基于自编码器的特征自编码模型包括：

自编码器由两部分组成，编码器和解码器，编码器把输入x映射到低维空间z，学习数据分布的最显著特征，解码器对z进行重建、输出x’，重建输出x’与x之间的差异称为重建误差，利用重建误差对自编码器进行无监督学习的训练，训练好的自编码器可用于数据分布异常检测，与数据源的分布匹配度高的数据，重建误差低，分布差异大的数据，重建误差高。

6.如权利要求1所述的多模态影像自动勾画模型迁移方法，其特征在于，基于多数据源训练的特征自编码模型可以自动从各医院的数据池中挑选合适的数据对自动勾画模型进行迁移学习的训练，使其适应不同医院的数据特征，包括：

用自动勾画模型或特征自编码模型对医院可用数据进行测试，挑选高匹配样本；

用挑选出来的样本对自动勾画模型以及特征自编码模型进行调优训练；

调优后的模型对剩余数据进行测试、挑选，进行下一次迭代优化；

不断重复以上挑数据-优化训练的过程，直到自动勾画模型在该医院的测试集上达到目标勾画精度。