[发明专利]一种红外与可见光图像文本描述生成方法

权利要求书

1.一种红外与可见光图像文本描述生成方法，其特征在于，包括如下步骤：

步骤1，建立数据集，采集n对分辨率大小为H×W、场景相同的红外与可见光图像，构建成数据集，对数据集中的每个样本进行人工文本描述，生成多条不同的描述文本，所述描述文本由多个词组成，将所有描述文本中的词组成一个集合，这个集合称为“字典”；

步骤2，构建红外与可见光图像文本描述生成网络，包括以下子步骤：

步骤2.1，多源图像场景特征提取：建立红外与可见光图像特征提取的编码模型，用于提取数据集中每一对红外与可见光图像样本的深层语义特征v_IR和v_VIS；

步骤2.2，场景特征信息融合：建立前馈神经网络构成的特征融合模型，用以融合红外与可见光图像包含的多源场景信息，获得融合语义特征v_F；

步骤2.3，建立加性多头注意力机制的图像特征解码模型，对融合语义特征v_F进行处理，用于输出描述文本；

步骤2.3的具体实现包含如下子步骤：

步骤2.3.1，对融合语义特征v_F进行均值池化，将每个通道的空间分辨率d×d降为1×1，得到均值v_j；

步骤2.3.2，加性多头注意力机制解码模型通过迭代的方式完成，记h和c为解码模型在迭代过程中的隐状态，h∈R^D，c∈R^D，D为解码模型的特征维度，在迭代时间步为t时，解码模型的隐状态为h_t-1和c_t-1；

当迭代时间步t＝0时，解码模型的初始隐状态为h_-1和c_-1，起始标记词w₀为start，h_-1由投影矩阵W_h、偏置向量b_h对v_j变换得到；c_-1由投影矩阵W_c、偏置向量b_c对v_j变换得到，h_-1和c_-1的计算公式如下：

h_-1＝W_h·v_j+b_h

c_-1＝W_c·v_j+b_c

其中，W_h∈R^L×D，W_c∈R^L×D，b_h∈R^D，b_c∈R^D为训练参数，L为特征的通道数；

步骤2.3.3，通过解码模型在迭代时间步t的隐状态h_t-1和融合语义特征v_F，进行加性多头注意力机制计算；加性多头注意力机制的计算过程包含如下子步骤：

步骤2.3.3.1：加性多头注意力机制中第i个头的权重α_i的计算公式如下：

α_i＝softmax(ReLU(W_i^q·h_t-1+W_i^k·v_F))

其中和为投影矩阵，L_n为加性多头注意力特征维度与头数量的商；

步骤2.3.3.2：加性多头注意力机制中的第i个头head_i的加权计算公式如下：

其中为v_F的转置矩阵；

步骤2.3.3.3：将多头head₁,head₂,...,head_n的加权计算结果沿通道拼接后，经过投影矩阵W_D变换得到加权图像特征向量v_t^A，其计算公式如下：

v_t^A＝[head₁,head₂,...,head_n]·W_D

其中为训练参数，L_A为加性多头注意力机制的特征维度；

步骤2.3.4，解码模型采用融合加性多头注意力机制的LSTM进行迭代计算，其迭代计算公式如下：

h_t,c_t＝LSTM([W_e·w_t,v_t^A],h_t-1,c_t-1)

其中，W_e为词嵌入矩阵，L_E为词嵌入维度，S_D为字典中词的数量，w_t为迭代时间步t的输入单词，

步骤2.3.5，通过全连接层FC和softmax归一化后，解码模型输出字典中候选概率值最大的单词其计算公式如下：

判断是否为结束标记end，如果不是end，输出并将其作为步骤2.3.4中迭代时间步t+1的输入单词w_t+1继续迭代；否则结束迭代过程；

步骤3，利用步骤1中的数据集及对应的描述文本训练步骤2中构建的文本描述生成网络；

步骤4，将测试图像对输入到训练好的文本描述生成网络，输出其对应的描述文本。