[发明专利]图像识别方法、装置及存储介质

权利要求书

1.一种图像识别方法，其特征在于，所述方法包括：

通过指定编码器对待进行识别的目标图像进行特征提取，得到特征向量和第一标注向量集合；

对所述特征向量进行初始化处理，得到第一初始输入数据；

基于第二引导网络模型中的模型参数构成的第二矩阵对所述第一标注向量集合进行线性变换，得到第三矩阵，所述第二引导网络模型是通过样本图像的标注向量集合和属性信息训练得到，所述属性信息用于指示所述样本图像的描述语句中预测出现的词语的概率；

基于所述第三矩阵和所述目标图像的属性信息，生成第四矩阵；

基于所述第四矩阵中每一行的最大值确定第一引导信息；

基于所述第一引导信息、所述第一标注向量集合和所述第一初始输入数据，通过指定解码器确定所述目标图像的描述语句。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

将所述目标图像作为多示例模型的输入，通过所述多示例模型对所述目标图像进行处理，得到所述目标图像的属性信息。

3.如权利要求1所述的方法，其特征在于，所述基于所述第一引导信息、所述第一标注向量集合和所述第一初始输入数据，通过指定解码器确定所述目标图像的描述语句，包括：

基于所述第一引导信息，通过所述指定解码器对所述第一标注向量集合和所述第一初始输入数据进行解码，得到所述目标图像的描述语句。

4.如权利要求3所述的方法，其特征在于，所述基于所述第一引导信息，通过所述指定解码器对所述第一标注向量集合和所述第一初始输入数据进行解码，得到所述目标图像的描述语句，包括：

当所述指定解码器采用第一循环神经网络RNN模型，且所述第一循环神经网络RNN模型用于执行M个第一时间步骤时，对于所述第一循环神经网络RNN模型执行的每个第一时间步骤，基于所述第一引导信息确定所述第一时间步骤的输入数据；

其中，所述M是指所述第一循环神经网络RNN模型循环处理输入数据的次数，且所述M为正整数，每个第一时间步骤为所述第一循环神经网络RNN模型对输入数据的处理步骤；

基于所述第一时间步骤的输入数据、所述第一标注向量集合和所述第一时间步骤的上一个第一时间步骤的输出数据，确定所述第一时间步骤的输出数据；

其中，当所述第一时间步骤为所述M个第一时间步骤中的第一个第一时间步骤时，所述第一时间步骤的上一个第一时间步骤的输出数据是基于所述第一初始输入数据确定得到；

基于所述M个第一时间步骤的所有输出数据，确定所述目标图像的描述语句。

5.如权利要求4所述的方法，其特征在于，所述基于所述第一引导信息确定所述第一时间步骤的输入数据，包括：

基于所述第一引导信息，通过以下公式确定所述第一时间步骤的输入数据：

x_t＝Ey_t+Qv

其中，t为所述第一时间步骤，x_t为所述第一时间步骤的输入数据，E为所述第一循环神经网络RNN模型的模型参数构成的词语嵌入矩阵，y_t是所述第一时间步骤对应的词语的独热one-hot向量，所述第一时间步骤对应的词语是基于所述第一时间步骤的上一个第一时间步骤的输出数据确定得到，Q为所述第一循环神经网络RNN模型的模型参数构成的第五矩阵，v为所述第一引导信息。

6.如权利要求3-5任一所述的方法，其特征在于，所述通过指定编码器对待进行识别的目标图像进行特征提取，得到特征向量和第一标注向量集合之前，还包括：

将第一待训练编码器、第一待训练引导网络模型和第一待训练解码器进行组合，得到第一级联网络模型；

基于多个样本图像和所述多个样本图像的描述语句，采用梯度下降法对所述第一级联网络模型进行训练，得到所述指定编码器、所述第二引导网络模型和所述指定解码器。