[发明专利]一种医学影像文本报告的生成方法及装置

说明书

本发明提供了一种医学影像文本报告的生成方法及装置，其中，所述生成方法包括：将待识别的医学影像输入目标识别模型中的目标卷积神经网络，输出针对所述待识别的医学影像的语义特征向量和图像特征向量；将所述语义特征向量和所述图像特征向量输入所述目标识别模型中的目标循环神经网络，输出针对所述待识别的医学影像的文本报告。用于提高医学影像文本报告的生成效率。

技术领域

本发明涉及图像描述技术领域，特别涉及一种医学影像文本报告的生成方法及装置。

背景技术

图像描述相较于图像识别、目标检测等技术更具有挑战性，具体来讲，其不仅需要识别图像中的目标对象，检测该目标对象的位置，还需要理解目标对象的形状色彩等属性，目标对象间的关系，目标对象参与的活动，并以自然语言的方式表述。

现有医学影像文本报告存在数据集有限，没有有效的预训练模型，语料库建立难度大等问题，无法生成更为细粒度的图像特征理解和描述文本。可见，现有医学影像文本报告的生成效率较低。

发明内容

本发明提供了一种医学影像文本报告的生成方法及装置，用于提高医学影像文本报告的生成效率。

第一方面，本发明实施例提供了一种医学影像文本报告的生成方法，包括：

将待识别的医学影像输入目标识别模型中的目标卷积神经网络，输出针对所述待识别的医学影像的语义特征向量和图像特征向量；

将所述语义特征向量和所述图像特征向量输入所述目标识别模型中的目标循环神经网络，输出针对所述待识别的医学影像的文本报告。

在一种可能的实施方式中，所述输出针对所述待识别的医学影像的语义特征向量和图像特征向量，包括：

输出针对所述待识别的医学影像的语义特征向量和第一诊断标签；

对所述第一诊断标签进行全连接处理，获得针对所述待识别的医学影像的图像特征向量。

在一种可能的实施方式中，所述输出针对所述待识别的医学影像的语义特征向量和第一诊断标签，包括：

确定针对所述待识别的医学影像的至少一个诊断标签；

从所述至少一个诊断标签中确定出用于表征被测者患病类别的第一诊断标签；

将所述第一诊断标签输入目标词嵌入模型，输出针对所述待识别的医学影像的所述语义特征向量。

在一种可能的实施方式中，所述对所述第一诊断标签进行全连接处理，获得针对所述待识别的医学影像的图像特征向量，包括：

确定从所述目标卷积神经网络中最靠近输出层的卷积层输出的针对所述待识别的医学影像的特征图；

根据所述第一诊断标签将所述特征图进行权重加权，获得针对所述待识别的医学影像的所述图像特征向量。

在一种可能的实施方式中，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成方法还包括：

将预训练的第一数据集输入待训练的卷积神经网络，其中，所述第一数据集包括含有已知诊断标签的多个医学影像；

将二分类交叉熵作为所述卷积神经网络的损失函数；

将所述损失函数低于第一预设阈值时所对应的卷积神经网络，作为所述目标卷积神经网络。

在一种可能的实施方式中，在将待识别的医学影像输入目标识别模型中的目标卷积神经网络之前，所述生成方法还包括：

将预训练的第二数据集输入待训练的识别模型，其中，所述第二数据集包括含有已知文本报告的多个医学影像，所述待训练的识别模型包括所述目标卷积神经网络和待训练的循环神经网络；