[发明专利]一种图像处理方法及系统

说明书

本发明实施例公开了一种图像处理方法，包括：通过卷积神经网络CNN提取目标图像的图像CNN特征，并生成所述目标图像对应的语义文本特征；从所述语义文本特征中提取出第一空间结构信息；根据所述空间结构信息分析所述图像CNN特征，获取所述图像CNN特征中与所述第一空间结构信息对应的第二空间结构CNN特征。本发明还公开一种图像处理系统，采用本发明，可以直接从图像CNN特征中获得空间结构信息，从而帮助人们进一步理解CNN特征，可以使图像文本交叉检索、图像标注、物体检测、零样本学习、视觉问答系统等应用受益。

技术领域

本发明涉及计算机领域，尤其涉及一种图像处理方法及系统。

背景技术

近年来，在图像与语义文本的交叉领域，例如零样本学习(Zero-Shot Learning)、图像描述生成(Image to Text)、视觉问答系统(Visual QA)，出现了很多令人印象深刻的新方法和优秀的工作。

图像标注技术可以自动生成图像的文本描述。使用卷积神经网络(ConvolutionalNeural Networks，CNN)提取图像特征，将图像特征映射到一个由图像特征和本文特征共同构建的子空间当中，得到映射子空间特征，再使用长短时记忆(Long Short-Term Memory，LSTM)模型作为解码器，将映射子空间特征转换为文本特征，进一步转换为自然语言。

视觉问答系统是在图像标注的基础上，进一步融合计算机视觉和自然语言处理的一项工作。此项技术的目标并不是直接生成图像的文本描述，而是对一张图片和一句与图片相关的问题文本，系统可以自动理解图像和文本的内容，并给出一句对应的文本回答。

零样本学习，即在图像的测试集中，包含某一些在训练集中没有出现的类别，将训练集中出现过的类别称为seen class，将训练集中没有出现过的类别称为unseen class。在训练模型时，我们不仅通过图像训练集来训练模型，而且要学习一些“辅助知识”，并通过对“辅助知识”的学习并迁移，让模型获得对unseen class分类的经验。经常使用的“辅助知识”有图像类别属性和语义文本，通过语义文本学习“辅助知识”可以较为轻松地取得较好的效果，首先目前存在着大量高质量的各个类别的描述文本，例如维基百科等，其次，这些文本中包含着大量的本类别和其他类别的相关描述，为知识的迁移学习提供了极大的便利。

上述技术都使用了CNN对图像进行编码。CNN对图像有着强大的表征能力，但是目前人们对于CNN特征到底“是什么”的理解并不充分，上述技术中对CNN的利用也仅限于提取图像特征，也就是说，是将CNN当作一个“黑盒子”来使用的；若不充分研究和理解CNN特征中的信息，会给后续的工作带来很大的不便，例如在区域卷积神经网络RCNN网络中，要首先对图像提取非常多的小的图像块，然后对每一个图像块提取CNN特征，这一过程非常耗时。

发明内容

本发明实施例所要解决的技术问题在于，提供一种图像处理方法及图像处理系统，可以直接从图像CNN特征中获得空间结构信息，从而帮助人们进一步理解CNN特征，可以使图像文本交叉检索、图像标注、物体检测、零样本学习、视觉问答系统等应用受益。

为了解决上述技术问题，本发明实施例第一方面公开了一种图像处理方法，包括：

通过卷积神经网络CNN提取目标图像的图像CNN特征，并生成所述目标图像对应的语义文本特征；

从所述语义文本特征中提取出第一空间结构信息；

根据所述空间结构信息分析所述图像CNN特征，获取所述图像CNN特征中与所述第一空间结构信息对应的第二空间结构CNN特征。

结合第一方面，在第一种可能的实现方式中，所述通过卷积神经网络CNN提取目标图像的图像CNN特征，并生成所述目标图像对应的语义文本特征包括：

通过CNN模型对目标图像进行编码，生成图像CNN特征；