[发明专利]医学图像语义描述方法、描述模型的构建方法及该模型

说明书

本发明公开了一种医学图像语义描述方法、描述模型的构建方法及该模型，该构建方法包括：获取批量带语义描述的医学图像，将每张医学图像的语义描述转换为语义特征向量；将所有医学图像作为输入，将所有医学图像的语义特征向量作为输出，对改进的Inception‑Resnet特征提取网络进行训练；对每张医学图像进行特征提取后，融合获得每张医学图像的图像语义特征向量；将所有医学图像的图像语义特征向量作为输入，语义特征向量作为输出，对双向LSTM的编码‑解码器进行训练；获得由图像语义特征提取网络和双向LSTM的编码‑解码器连接构成的医学图像语义描述模型。本发明可以准确地对医学图像添加语义描述，精度较高，可广泛应用于图像处理领域中。

技术领域

本发明涉及医学图像处理领域，特别是涉及一种医学图像语义描述方法、描述模型的构建方法及该模型。

背景技术

在目前的医学图像诊断上，医生所依靠的是对于图像对应量表的数据，对于图像所表现的症状依据自己的医学经验进行诊断。然而不是所有情况下都有语义描述的图像提供给医生使用，更多的是单纯的医学图像，医生不得不依靠以往的经验对图像进行分析诊断，加大了诊断的难度和误诊率。总的来说，目前在医学图像诊断领域，主要依靠的是医生对于医学图像的经验诊断，这样的诊断方式难免会由于医生个人的原因或者外界的影响对诊断结果造成一定程度的影响。而传统的图像分析技术更多的是对图像整体进行分析来得到结果，这样就难免将一些我们并不关注的信息加入到分析结果中，使得在分析得到的信息中我们所关注的信息不够突出，无法准确地辅助医生进行诊断。另外，目前很多使用图像作为机器学习或者深度学习研究对象的方法，目标是直接根据图像对疾病进行判断，难免与医生的判断出现大的误差。最后，目前技术中，出现了通过对医学图像进行提取处理后，对其增加语义描述，用于辅助医生进行诊断的方案，但是已有的技术中，只是简单的对医学图像进行以RNN为基础的编码解码转换，无法准确地为医学图像添加语义描述。

名词解释

卷积神经网络(CNN)：卷积神经网络是深度学习中的一类经典网络。卷积核是其核心，经典的CNN的卷积核由较小的二维方阵构成，通过不同的步长和不同的边界处理方式对二维数据进行处理，再使用池化操作进行压缩数据。

注意力机制：注意力机制的目的是模拟人类视觉系统在处理看到画面时采用的关注于局部的方法。通过这种方式能够强化数据中的某种信息，而抑制其他的信息的影响，为特定任务提供更高的相关性和准确率。

VGG：VGG是卷积神经网络(CNN)的一种，主要特点是对于CNN卷积核的重复使用。根据不同的重复单元的结构可以构造不同的VGG网络，同时VGG在迁移学习中表现良好，多用于提取特征。缺点在于参数量巨大。

Resnet：残差网络。随着神经网络的加深，出现了在训练集上准确率下降的情况，我们可以确定不是由于过拟合造成的。为了解决这个问题提出了Resnet(残差网络)。其主要特点在于shortcut连接，网络上表现为输入直接连接到输出的形式。

Googlenet：Googlenet提出最直接提升深度神经网络的方法就是增加深度和宽度，但是网络的加深和拓宽会导致过拟合风险的升高以及计算资源的增加，为此Googlenet提出Inception结构，使用稀疏表示代替全连接的思想来缓解这两个问题。

Inception：Inception模块直观上可以理解为对输入图像并行地执行多个卷积运算或池化操作，并将所有输出结果拼接为一个囊括多尺度特征的特征图。Inception-V4是其第四个版本。

Inception-Resnet-V2：Inception-Resnet-V2是Inception-V4和Resnet相结合的产物。不同的卷积运算与池化操作可以获得输入图像的不同信息，并行处理这些运算并结合所有结果将获得更好的图像表征。同时shortcut结构能够一定程度上缓解在深层网络中梯度消失带来的影响。