[发明专利]少量学习解决综合视觉推理测试的同差问题的同差模型

说明书

本发明提供一种少量学习解决综合视觉推理测试的同差问题的同差模型，所述同差模型包括输入模块、兴趣区域选择模块、孪生网络和模式识别模块；所述输入模块用于输入测试样本；所述兴趣区域选择模块用于获取所述测试样本中若干个感兴趣区域，并将所述若干个感兴趣区域随机分为若干对后，馈入所述孪生网络；使用异卵双胞胎网络进行元训练，然后使用同卵双胞胎网络进行学习，并预测每对感兴趣区域的关系得分，最后使用模式识别模块基于预测的关系得分对综合视觉推理测试的相同问题进行分类。本发明通过获取测试样本中感兴趣区域的相似度来识别模式，能够识别高度抽象的“相同”和“差异”的视觉概念。

技术领域

本发明属于机器学习技术领域，尤其涉及一种少量学习解决综合视觉推理测试的同差问题的同差模型。

背景技术

近年来，计算机视觉在标准识别任务(例如图像分类)中见证了许多重大突破，图像分割(将数字图像分割为多个片段的过程)或物体检测，这些收益大部分是应用深度卷积神经网络(CNN)的结果。然而，事实证明，对于标准的深度卷积神经网络而言，需要注意高度抽象的概念(例如“相同”和“差异”)的视觉学习任务尤其困难。

对不同问题的研究具有许多实际意义。流行的应用之一是人脸相似度识别，人脸识别可以帮助我们验证身份或进行一些人脸分析。在现代移动设备中，基于面部识别开发了许多功能，例如能够通过面部识别打开手机或打开银行应用程序。人脸识别还可以帮助我们锁定许多人的目标。对相同问题的研究可以显着提高人脸识别的性能。此外，人类可以在不加监督的情况下学习这些高度抽象的视觉概念，例如“相同”和“差异”，当一个人见过某人一次时，他们通常可以记住下一次在街上见面时该人是谁。在综合视觉推理测试任务中，还证明了人类可以仅通过几个示例来学习“相同”和“差异”的概念；但是，对于大多数深度学习模型，他们需要大量带标签的训练数据来训练大量参数，考虑到现实生活中标记的数据集不多，并且新类需要大量注释，这非常耗时且费力，在某些情况下，对于新的类，可能根本不存在大量带注释的图像，诸如稀有动物之类的新兴类别，将基于很少的带标签示例识别视觉类别。

少学多学相同任务，该任务旨在基于很少标记的示例来识别“相同”和“不同”视觉类别。由于以下原因，解决同一个问题将面临巨大挑战：(1)先前的工作表明，即使提供了数百万个训练样本，标准的深度学习方法也无法解决同一个问题；(2)仅提供一个或几个示例就可以对深度学习中的标准“微调”实践提出挑战，更容易导致过度拟合。

为此，需要一个通过少量学习来处理同一个不同的分类。

特别是，通过几次学习来解决综合视觉推理测试任务相同的问题，然后将模型应用于现实生活中解决更复杂的相同的问题。

发明内容

鉴于上述现有技术的不足之处，本发明的目的旨在解决现有技术中机器学习存在的上述问题。

为了达到上述目的，本发明采取了以下技术方案：

一种少量学习解决综合视觉推理测试的同差问题的同差模型，所述同差模型包括输入模块、兴趣区域选择模块、孪生网络和模式识别模块；

所述输入模块用于输入测试样本；

所述兴趣区域选择模块用于获取所述测试样本中若干个感兴趣区域，并将所述若干个感兴趣区域随机分为若干对后，馈入所述孪生网络；

所述孪生网络包括结构相同的异卵双胞胎网络和同卵双胞胎网络，所述异卵双胞胎网络用于元训练，所述同卵双胞胎网络用于学习；

所述同卵双胞胎网络包括嵌入模块和关系模块，所述嵌入模块根据馈入的每对感兴趣区域生成特征图和运算符，将所述特征图馈入到所述关系模块中，产生0至1用于表示相似度的标量，并计算每对感兴趣区域之间的关系得分，设置关系得分阀值；