[发明专利]一种3D颅脑MRI医学影像报告自动生成方法及系统

权利要求书

1.一种3D颅脑MRI医学影像报告自动生成方法，其特征在于，包括：

获取待生成医学影像报告的3D颅脑MRI医学图像；

将所述待生成医学影像报告的3D颅脑MRI医学图像输入至预先训练好的基于Transformer的3D颅脑MRI医学影像报告自动生成模型，得到所述基于Transformer的3D颅脑MRI医学影像报告自动生成模型输出的医学影像报告结果；辅助医生进行颅脑相关疾病诊断及报告的书写；

所述预先训练好的基于Transformer的3D颅脑MRI医学影像报告自动生成模型是基于训练集训练获得的，所述训练集包括患者的3D颅脑MRI医学图像数据及对应的医学影像报告文本数据。

2.根据权利要求1所述的3D颅脑MRI医学影像报告自动生成方法，其特征在于，所述基于Transformer的3D颅脑MRI医学影像报告自动生成模型，训练步骤包括：

获取患者的3D颅脑MRI医学图像数据及对应的医学影像报告文本数据；将获取到的3D颅脑MRI医学图像数据和医学影像报告文本数据进行匹配对应，并删除数据缺失的记录；

对所述获取到的3D颅脑MRI医学图像数据及对应的医学影像报告文本数据进行预处理，所述预处理，包括建立图像报告对、中文分词、文本描述等长补齐和建立字典处理；存储预处理后的结果；

构建数据集，所述数据集为患者的3D颅脑MRI医学图像数据及对应的医学影像报告文本数据；

将数据集按3:1:1的比例划分为：训练集、验证集和测试集；

构建基于Transformer的3D颅脑MRI医学影像报告自动生成初始模型；

将训练集输入到基于Transformer的3D颅脑MRI医学影像报告自动生成初始模型中，对基于Transformer的3D颅脑MRI医学影像报告自动生成模型进行训练，训练完成得到基于Transformer的3D颅脑MRI医学影像报告自动生成模型。

3.根据权利要求1所述的3D颅脑MRI医学影像报告自动生成方法，其特征在于，所述预先训练好的基于Transformer的3D颅脑MRI医学影像报告自动生成模型，网络架构主要包括：

视觉特征提取器、编码器、解码器；

所述视觉特征提取器的输入端用于输入3D颅脑MRI医学图像，利用所述视觉特征提取器对3D颅脑MRI医学图像进行特征提取，生成捕获空间和深度信息的紧凑特征图，丰富的局部3D上下文特征；将丰富的局部3D上下文特征的有效嵌入馈送到编码器，之后可利用编码器在全局空间中建模长距离相关性；将空间维度和深度维度压缩为一维，并引入位置嵌入，并通过残差模块将它们与特征图相融合；所述编码器的输出是从视觉提取器中提取的输入特征中被编码的隐藏状态；编码器的输出结果作为所述解码器的输入，解码器将为每个可能感兴趣区域生成描述。

4.根据权利要求3所述基于Transformer的3D颅脑MRI医学影像报告自动生成模型，其特征在于，所述视觉特征提取器，采用3D CNN(卷积神经网络)建立，生成捕获空间和深度信息的紧凑特征图，在解码路径中允许利用中间高分辨率的CNN特征图，比单纯使用Transformer作为编码器效果要好。

5.根据权利要求3所述基于Transformer的3D颅脑MRI医学影像报告自动生成模型，其特征在于，所述编码器采用Transformer的标准编码器，在全局空间中建模长距离相关性。

6.根据权利要求3所述基于Transformer的3D颅脑MRI医学影像报告自动生成模型，其特征在于，所述解码器主要采用Transformer的解码器部分，并在层归一化中引入一个额外的记忆网络模块，从而使得Transformer能够建模医学影像报告长距离信息的同时，建模其中的模式化信息。

7.根据权利要求6所述基于Transformer的3D颅脑MRI医学影像报告自动生成模型，其特征在于，所述记忆网络模块用来记录来自前一代进程的信息，并通过层归一化来将记忆网络模块整合到Transformer中，能够建模和记忆不同医学影像报告中的类似模式，从而可以方便Transformer的解码。