[发明专利]多语言图像标题生成模型

权利要求书

1.一种多语言图像标题生成模型，其特征在于：所述多语言图像标题生成模型基于完全自注意力结构先将图像分割成固定大小的小块，然后将这些小块的线性投影连同它们的图像位置一起输入变压器的。然后剩下的步骤就是一个干净的和标准的Transformer编码器和解码器，在图像patch的嵌入中加入位置嵌入，通过不同的策略在全局范围内保留空间/位置信息，尝试了不同的空间信息编码方法，包括无位置信息编码、1D/2D位置嵌入编码和相对位置嵌入编码，与一维位置嵌入相比，二维位置嵌入并没有带来显著的性能提升，与基于完全自注意力结构的Transformer相比，混合结构是将卷积神经网络提取出的特征向量作为标准Transformer输入，其他方面基本类似。纯Transformer架构在大小和计算规模上都比传统的CNNs更具效率和可扩展性，深度学习相关的图像标题生成方法的发展离不开包含成对图像标题的公开数据集，针对多语言数据集稀缺的情况，对图像标题生成领域的小型通用数据集Flickr8k进行多语言标注，为了把英语的数据集扩展为多语言的数据集，以Flickr8k数据集作为基准，多语言数据集都直接或间接来自Flickr8K的原始英文翻译，但仅通过公开翻译网页进行机器翻译无法保证多语言数据集质量，因此对数据集进行了一系列校正操作以保证数据集质量。