[发明专利]多模态医学报告检索方法、装置、电子设备及存储介质

说明书

本发明涉及数据处理技术，揭露了一种多模态医学报告检索方法、装置、电子设备以及介质，所述方法包括：获取医学报告数据集，对医学报告数据集进行类型划分，得到文本数据以及图像数据；对文本数据进行全局及局部特征提取，得到全局特征及局部特征；对图像数据进行特征提取，得到图像特征；利用根据全局特征、局部特征及图像特征计算得到的第一损失值及第二损失值，对表征提取模型进行优化，得到标准表征提取模型；利用标准表征提取模型对待检索数据进行特征提取，得到待检索数据特征；将待检索数据特征与医学报告数据库进行特征匹配，根据匹配的结果确定目标数据。本发明可以提高在医疗工作中检索医学报告数据时的效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种多模态医学报告检索方法、装置、电子设备及计算机可读存储介质。

背景技术

一般情况下，电子医学成像影像往往与对应的医学报告一起出现，在一个医疗图像-报告的多模态数据库中包含多个医学报告对应的医疗数据，此时我们可以通过检索的方式快速得到一副医疗图像对应的医学报告，通过医学报告找到对应的医疗数据，而在多模态检索任务中，我们需要学习文本和视觉在潜空间的联合表示。由于医学报告与一般的文本查询有较大区别，不能直接套用通用的跨模态文本检索方法，许多医学报告也没有与之配对的文本，如果只用配对好的数据集做监督学习，会浪费单模态数据。综上所述，现存技术中存在在医疗工作中检索医学报告数据时效率不高的问题。

发明内容

本发明提供一种多模态医学报告检索方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决检索医学报告数据时效率不高的问题。

为实现上述目的，本发明提供的一种多模态医学报告检索方法，包括：

获取医学报告数据集，对所述医学报告数据集进行类型划分，得到文本数据以及图像数据；

利用预构建的表征提取模型中的文本特征网络对所述文本数据进行全局特征提取以及局部特征提取，得到文本全局特征以及文本局部特征；

利用所述表征提取模型中的图像特征网络对所述图像数据进行特征提取，得到图像特征；

对所述文本全局特征及所述文本局部特征进行损失值计算，得到第一损失值，对所述图像特征进行损失值计算，得到第二损失值，并根据所述第一损失值及所述第二损失值对所述表征提取模型进行优化，得到标准表征提取模型；

获取待检索数据，利用所述标准表征提取模型对所述待检索数据进行特征提取，得到待检索数据特征；

将所述待检索数据特征与预设的医学报告数据库进行特征匹配，根据匹配的结果确定目标数据。

可选地，所述对所述医学报告数据集进行类型划分，得到文本数据以及图像数据，包括：

对所述医学报告数据集中每个数据类型建立对应的索引标识，并判断所述数据类型为图像格式数据还是文本格式数据；

当所述数据类型为图像格式数据时，通过所述数据类型的索引标识在所述医学报告数据集中将所有图像格式数据提取出来，并将所述图像格式数据通过预设的切分方式拆分为多个图像数据；

当所述数据类型为文本格式数据时，通过所述数据类型的索引标识在医学报告数据集中提取出所有文本格式数据，将所述文本格式数据存储至预设的数据库中，并将所述文本格式数据生成数据表，对数据表进行拆分，得到文本数据。

可选地，所述利用预构建的表征提取模型中的文本特征网络对所述文本数据进行全局特征提取以及局部特征提取，得到文本全局特征以及文本局部特征，包括：

利用预构建的表征提取模型中的文本特征网络对所述文本数据进行卷积处理，得到卷积文本数据；

对所述卷积文本数据进行全局及局部最大池化处理，得到池化文本全局数据及池化文本局部数据；