[发明专利]一种面向小样本的影像语义对齐系统

说明书

本发明基于编码‑解码模型，公开了一种面向小样本的影像语义对齐系统，是人工智能领域下医学影像报告自动生成的辅助诊疗模型。该系统主要分为三大层次结构：预处理层、编码层和解码层。预处理层包含图像增强、图像分割、图像矩阵转换以及标签对齐；编码层主要利用卷积神经网络(Convolutional Neural Network，CNN)编码器提取图像特征；解码层主要利用长短期记忆网络(long short‑term memory，LSTM)循环网络解码文本匹配。本发明的对齐系统通过调整图像编码层中卷积网络的结构，以适应小样本图像描述的生成。

技术领域

本发明涉及自然语言处理(NLP)领域和计算机视觉(CV)领域，具体涉及了一种面向小样本的影像语义对齐结构，实现了医学影像自动转化成文本报告的功能。

背景技术

在过去二十年中，自然语言处理和计算机视觉领域在分析和生成文本以及理解图像和视频方面取得了巨大的进步。虽然这两个领域都有一套类似于人工智能和机器学习的方法，但它们在历史上是分开发展的，而且它们的科学界通常只有很少的交互作用。然而，近年来对需要结合语言和视觉信息的问题兴趣激增，自动图像描述已经成为关键任务。

图像描述的生成方法抽象为抽取摘要方法，从SumBasic模型抽取摘要技术到基于查询的词分布与候选描述之间的Kullback-Leibler分歧，以及最近提出的VisualGeometry Group卷积神经网络提取特征技术，经被证明在许多计算机视觉问题中是有效的。自15年开始，图像描述任务逐渐形成了一个编解码的主流解决方案，使用不同的卷积网提取有效的图像特征以及不同的序列处理模型生成更好的表达语句成为了技术攻坚的方向，于此同时注意力机制也在图像和文本两个部分被逐渐引入该任务。

随着智能医疗的兴起、图像描述任务的不断发展，影像的特征分析、理解以及报告文本的自动生成的研究也显得尤其重要。

发明内容

本发明的目的是：设计一种人工智能领域下医学影像报告自动生成的辅助诊疗模型，尤其适用于小样本的影像数据。

为了达到上述目的，本发明的技术方案是提供了一种面向小样本的影像语义对齐系统，其特征在于，包括数据预处理层、编码层和解码层，其中：

数据预处理层为数据前期准备阶段，对输入的影像图像和文本的数据进行预处理操作；

编码层采用CNN作为编码器将影像图编码成固定长度的向量，在CNN中提取图像特征；

解码层采用LSTM特殊形式的循环网络构建语言模型。

优选地，所述数据预处理层对图像进行的预处理操作包括常规的医学影像增强的方法，并对包含大面积背景的影像进行阈值分割减少背景区域。

优选地，所述数据预处理层对文本进行的预处理操作包括分词和报告主要含义语句的提取。

优选地，所述编码层由参数数量更少、权重更易传递的残差网络和对单通道灰度影像更为敏感的全卷积网络构成。

优选地，所述解码层每个输出时间步骤都会在序列中生成一个新词，然后每个生成的词都会使用一个词嵌入进行编码，该编码会作为输入被传递给解码器以生成后续的词。

本发明的另一个技术方案是提供了一种上述小样本影像语义对齐结构的应用，其特征在于，用于在小样本影像上的训练以及预测

本发明的有益效果是，克服了小规模数据集上参数的训练造成的欠拟合及过拟合问题，对于少参数、小样本的数据集，该对齐结构可以良好的生成对应的文本描述。此外，该模型还具有如下特点：

(1)影像报告不受医生的个人经验而产生的个人差异影响；

(2)擅长在数据中识别复杂的模式，并以自动化方式提供定量评估；