[发明专利]一种红外与可见光图像文本描述生成方法

摘要

本发明公开了一种红外与可见光图像文本描述生成方法，包括以下步骤：1)采集n对分辨率大小和场景相同的红外与可见光图像，构建成数据集，对数据集中的每个样本进行人工文本描述，生成多条不同的描述文本；2)，构建红外与可见光图像文本描述生成网络，包括红外与可见光图像特征提取的编码模型、由前馈神经网络构成的特征融合模型，以及加性多头注意力机制的图像特征解码模型；3)训练文本描述生成网络；4)将测试图像对输入到训练好的文本描述生成网络，输出其对应的描述文本。本发明方法可有效利用红外图像和可见光图像提供的互补视觉特征，弥补了传统单光算法遗漏关键目标实体和场景描述不充分的不足。