[发明专利]医学图像语义描述方法、描述模型的构建方法及该模型

权利要求书

1.一种医学图像语义描述模型的构建方法，其特征在于，包括以下步骤：

S01、获取批量带语义描述的医学图像，并将每张医学图像的语义描述转换为语义特征向量；

S02、将所有医学图像作为输入，将所有医学图像的语义特征向量作为输出，对改进的Inception-Resnet特征提取网络进行训练；

S03、分别采用VGG特征提取网络和训练好的改进的Inception-Resnet特征提取网络对每张医学图像进行特征提取后，融合获得每张医学图像的图像语义特征向量；

S04、将所有医学图像的图像语义特征向量作为输入，将所有医学图像的语义特征向量作为输出，对双向LSTM的编码-解码器进行训练；

S05、获得由图像语义特征提取网络和训练好的双向LSTM的编码-解码器连接构成的医学图像语义描述模型；

其中，所述图像语义特征提取网络由VGG特征提取网络和训练好的改进的Inception-Resnet特征提取网络连接构成，所述双向LSTM的编码-解码器为带注意力机制的双向LSTM的编码-解码器。

2.根据权利要求1所述的医学图像语义描述模型的构建方法，其特征在于，所述VGG特征提取网络的最后三个层采用两个1*1卷积层和一个sigmoid激活层；

所述改进的Inception-Resnet特征提取网络由多个带注意力机制的Inception-Resnet模块依次连接构成，所述带注意力机制的Inception-Resnet模块由改进的Inception-Resnet单元、带注意力机制的卷积层、池化层依次连接构成。

3.根据权利要求2所述的医学图像语义描述模型的构建方法，其特征在于，所述改进的Inception-Resnet单元包括依次连接的Stem层、3个Inception-Resnet-A层、Reduction A层、最大池化层和Dropout层。

4.根据权利要求2所述的医学图像语义描述模型的构建方法，其特征在于，在所述改进的Inception-Resnet特征提取网络的训练过程中，采用逐个模块预训练的方式分别对多个带注意力机制的Inception-Resnet模块进行预训练，获得每个带注意力机制的Inception-Resnet模块的权重；且训练后，在相连接的两个带注意力机制的Inception-Resnet模块的连接处获得一体现注意力机制的权重矩阵。

5.根据权利要求1所述的医学图像语义描述模型的构建方法，其特征在于，所述双向LSTM的编码-解码器的编码器和解码器均包括多个LSTM循环单元，所述编码器的每个LSTM循环单元的输出均包含有与解码器的若干个LSTM循环单元之间的连接权重。

6.根据权利要求5所述的医学图像语义描述模型的构建方法，其特征在于，在所述双向LSTM的编码-解码器的训练过程中，采用BPTT反向传播算法进行训练。

7.根据权利要求1至6任一项所述的医学图像语义描述模型的构建方法，其特征在于，所述步骤S03，具体包括以下步骤：

采用VGG特征提取网络对每张医学图像进行特征提取，获得每张医学图像的带语义的第一图像特征向量；

采用改进的Inception-Resnet特征提取网络对每张医学图像进行特征提取，获得每张图像的第二图像特征向量；

将带语义的第一图像特征向量和第二图像特征向量通过一全连接层融合获得每张医学图像的图像语义特征向量。

8.一种医学图像语义描述模型，其特征在于，所述医学图像语义描述模型采用权利要求1-7任一项所述的医学图像语义描述模型的构建方法所创建。