[发明专利]孪生注意力网络、图像处理方法和装置

说明书

本申请涉及人工智能领域中计算机视觉领域的图像处理技术，公开一种孪生注意力网络、图像处理方法和装置。该网络包括N个并行的多Header注意力网络；每个多Header注意力网络包括变换器Transformer和M个并行的Header，Transformer和M个并行的Header连接；每个多Header注意力网络中M个并行的Header用于分别对目标待处理图像和M‑1张参考待处理图像进行特征提取；每个多Header注意力网络中的Transformer用于根据特征提取得到的M‑1个参考特征矩阵对目标特征矩阵进行处理，得到第一特征矩阵。本申请中孪生注意力网络泛化能力强，可有效提升图像处理任务的效果。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种孪生注意力网络、图像处理方法和装置。

背景技术

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。

图像复原作为一个长久以来备受关注的领域，它的目的是利用已经降质后的图片，得到未降质前的图片。图像复原除了可以获得高质量图片以外，还可以帮助降质后的图片在下游任务中提升性能，如图片分类、目标检测、动作识别和语义分割等下游任务。

图像复原的方法主要分为两种，一种是基于单张图片进行复原，另一种是基于连续多张图片进行复原。而单张图片的图像复原是一个不适定问题，在解决比较困难和复杂的降质时，效果不理想。而多张图片的图像复原需要大量连续的干净和降质后的图像对进行学习，获取相应的监督数据集十分困难。

现阶段用于进行图像复原或其它图像处理任务的网络模型泛化能力较差，且在应用到不同的图像处理任务中处理效果较差。

发明内容

本申请实施例提供了一种孪生注意力网络、图像处理方法和装置，该孪生注意力网络泛化能力强，并且可以有效提升图像处理任务的效果。

第一方面，本申请提供了一种孪生注意力网络，所述孪生注意力网络包括N个并行的多Header注意力网络，所述N为大于或等于2的整数；其中，每个所述多Header注意力网络包括变换器Transformer和M个并行的Header，所述Transformer和所述M个并行的Header连接；其中，所述M为大于或等于2的整数；所述每个多Header注意力网络中M个并行的Header用于分别对目标待处理图像和M-1张参考待处理图像进行特征提取，得到目标特征矩阵和M-1个参考特征矩阵；其中，所述目标特征矩阵与所述目标待处理图像对应，所述M-1个参考特征矩阵分别与所述M-1张参考待处理图像一一对应；所述每个多Header注意力网络中的Transformer用于根据所述M-1个参考特征矩阵对所述目标特征矩阵进行处理，得到第一特征矩阵。

应当理解，上述M和N的大小关系不限定，即M可以大于N、小于N或等于N。在图像恢复任务中，当M大于或等于N时，可以取得较好的图像恢复效果。本领域技术人员可以根据不同图像处理任务来调整M和N的取值来达到最好的图像处理效果，本申请对此不限定。上述每个Header(头端)可以是一个包含多个卷积层的卷积神经网络或其他可行的网络结构，本申请对此不限定。