[发明专利]一种医学报告生成方法、模型的训练方法、装置及设备

权利要求书

1.一种医学报告生成模型的训练方法，其特征在于，所述方法包括：

将源图像输入第一编码器，得到第一图像特征，将所述源图像输入第二编码器，得到第二图像特征；所述源图像对应有医学文本标签；

将目标图像输入第三编码器，得到第三图像特征，将所述目标图像输入所述第二编码器，得到第四图像特征；

将所述第二图像特征输入文本生成器，得到第一医学报告文本；

将所述第四图像特征输入所述文本生成器，得到第二医学报告文本；

将所述第一医学报告文本输入判别器，得到第一判别结果；

将所述第二医学报告文本输入所述判别器，得到第二判别结果；

根据所述第一图像特征以及所述第二图像特征，计算源图像特异性损失，根据所述第三图像特征以及所述第四图像特征，计算目标图像特异性损失；

根据所述第一医学报告文本以及所述源图像对应的医学文本标签计算交叉熵损失；

根据所述第一判别结果计算第一对抗性损失，根据所述第二判别结果计算第二对抗性损失以及第三对抗性损失；

根据所述源图像特异性损失、所述目标图像特异性损失、所述交叉熵损失、所述第一对抗性损失、所述第二对抗性损失以及所述第三对抗性损失，训练所述第一编码器、所述第二编码器、所述第三编码器、所述文本生成器以及所述判别器，重复执行所述将源图像输入第一图像特征编码器以及后续步骤，直到达到预设条件。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述第一图像特征以及所述第二图像特征输入第一解码器，得到重建源图像；

将所述第三图像特征以及所述第四图像特征输入第二解码器，得到重建目标图像；

根据所述源图像以及所述重建源图像，计算源图像感知损失，根据所述目标图像以及所述重建目标图像，计算目标图像感知损失；

所述根据所述源图像特异性损失、所述目标图像特异性损失、所述交叉熵损失、所述第一对抗性损失、所述第二对抗性损失以及所述第三对抗性损失，训练所述第一编码器、所述第二编码器、所述第三编码器、所述文本生成器以及所述判别器，包括：

所述根据所述源图像特异性损失、所述目标图像特异性损失、所述交叉熵损失、所述第一对抗性损失、所述第二对抗性损失、所述第三对抗性损失、所述源图像感知损失以及所述目标图像感知损失，训练所述第一编码器、所述第二编码器、所述第三编码器、所述文本生成器、所述判别器、第一解码器以及所述第二解码器。

3.根据权利要求2所述的方法，其特征在于，部分所述目标图像对应有医学文本标签；所述方法还包括：

根据所述源图像与所述重建源图像的差异以及所述目标图像与所述重建目标图像的差异，确定第一分值；

根据所述源图像特异性损失以及所述目标图像特异性损失，确定第二分值；

如果所述目标图像对应有医学文本标签，根据所述第二医学报告文本以及所述目标图像对应的医学文本标签，计算自然语言评估指标作为第三分值；

将所述第一分值、所述第二分值以及所述第三分值加权求和，得到奖励值；

以最大化所述奖励值为目标，重新训练所述第一编码器、所述第二编码器、所述第三编码器、所述文本生成器、所述判别器、第一解码器以及所述第二解码器。