[发明专利]基于自我修正式标签生成网络的胸片多标签分类方法

权利要求书

1.一种基于自我修正式标签生成网络的胸片多标签分类方法，其特征在于，构建一个自我修正式标签生成网络模型，用于胸片的多标签分类；

构建的自我修正式标签生成网络SLGN，包括三个组成部分：ResNet图像编码器、自我修正式注意力机制模块以及作为解码器的门控循环单元GRU；其中：

所述ResNet图像编码器用于获取输入图像即胸片图像的高层语义特征，生成图像特征表示，并输出至自我修正式注意力机制模块中；

所述自我修正式注意力机制模块，包括：在每个时刻根据之前时刻所输出的状态信息和图像特征生成对应于当前时间步的注意力图谱，并向GRU解码器输出上下文特征向量；

所述GRU解码器，根据所述上下文特征向量和之前时刻生成的标签词向量，生成当前时刻图像所对应的标签。

2.根据权利要求1所述的胸片多标签分类方法，其特征在于，所述ResNet图像编码器采用101层ResNet；所述ResNet从图像中提取得一个2,048维的图像特征表示，计算公式为：

其中θ_cnn是ResNet中包含的所有参数，I为所述图像，为得到的图像特征表示，其中H、W和D分别表示图像的高度、宽度和通道数量；

所述自我修正式注意力机制模块中，当前输入包括：图像特征表示和之前时刻所输出的状态信息h_t-1；并通过多层感知器的方式计算每个区域的注意力得分，计算公式为：

其中，θ_MLP是多层感知器中包含的所有参数，X为图像特征表示，为得到的当前时刻注意力图谱；

接着，该注意力图谱被输入至一个GRU修正器中，该GRU修正器根据当前时刻的注意力图谱α_t生成修正系数η_t，用于修正当前时刻注意力图谱中的错误和偏差，最终输出上下文特征向量其计算公式为：

η_t＝GRU(α_t) (3)

其中，α′_t为当前时刻修正后的注意力图谱；代表逐元素相加；f_z代表上下文特征向量的计算函数；

所述GRU解码器的当前输入包括：上下文特征向量和之前时刻所生成的标签词所对应的词向量；其中表示词嵌入矩阵，x_t-1是之前时刻生成标签的one-hot表示，h_t对应的是t时刻GRU的状态信息；接着，GRU解码器向全连接层输出当前时刻状态信息，全连接层计算当前时刻标签词的概率分布。

3.根据权利要求2所述的胸片多标签分类方法，其特征在于，所述GRU解码器向全连接层输出当前时刻状态信息，全连接层计算当前时刻标签词的概率分布，具体流程为：

在每个时刻t，GRU解码器基于上下文特征向量之前时刻生成的标签词x_t-1和之前时刻的隐藏层状态h_t-1生成当前时刻的标签：

其中，u_t、r_t、和h_t分别代表GRU的更新门、复位门、候选隐藏层状态和隐藏层状态；是嵌入矩阵，m代表词向量的维度；和σ分别表示逐元素相乘和sigmoid激活函数；其中，在初始时间步输入一个虚拟标签，它是一个可学习的向量；最后，使用全连接层去计算每个候选标签的概率，如下所示：

其中，W_ph是全连接层的参数；是当前时间步所有候选标签词的预测概率。