[发明专利]用于图片匹配定位的神经网络系统，方法及装置

说明书

本说明书实施例提供一种计算机执行的用于图片匹配定位的神经网络系统。该神经网络系统第一卷积网络，第二卷积网络，组合层和边框回归层，其中第一卷积网络对第一图片进行卷积处理和池化操作，得到与第一图片对应的维度为第一数目的第一特征向量；第二卷积网络对第二图片进行卷积处理，得到第二图片所包含的N个区域分别对应的N个特征向量，其维度也为第一数目；组合层将所述第一特征向量分别与N个特征向量进行组合操作，得到N个组合向量；边框回归层，至少基于所述N个组合向量，采用边框回归算法，在第二图片中输出预测边框的信息，所述预测边框指示出第二图片包含第一图片的图片内容的部分。

技术领域

本说明书一个或多个实施例涉及计算机图像处理领域，尤其涉及用于图片的匹配和定位的神经网络系统、方法和装置。

背景技术

人工智能和机器学习已经广泛地应用在计算机图像处理领域，智能地进行图像分析、对比、匹配以及目标识别等，其中图像的匹配和匹配定位是常常面对的问题。简单来说，图像匹配是指，判断两幅图像是否相似，或者是否为同一内容；而图像匹配定位是指，找出一幅图所示内容在另一幅图中的位置。

传统的匹配定位算法一般采用先遍历搜索各种大小的图块，再对这些图块逐个对比的方式进行匹配和定位。这样的方案时间复杂度很高，并且这样两步式的方案很难进行统一的整体优化。

因此，希望能有改进的方案，更加快速高效地进行图像的匹配定位。

发明内容

本说明书一个或多个实施例描述了用于图片匹配定位的神经网络系统和方法，从而快速高效并一体化地进行图片的匹配和定位。

根据第一方面，提供了一种计算机执行的、用于图片匹配定位的神经网络系统，包括：

第一卷积网络，包括第一卷积层，以及池化层，所述第一卷积层对第一图片进行卷积处理，得到与第一图片对应的第一卷积特征图；所述池化层对所述第一卷积特征图进行池化操作，生成维度为第一数目的第一特征向量，其中所述第一图片为待匹配图片；

第二卷积网络，对第二图片进行卷积处理，得到第二图片所包含的N个区域分别对应的N个特征向量，所述N个特征向量维度为所述第一数目；所述第二图片为待搜索图片；

组合层，将所述第一特征向量分别与所述N个特征向量进行组合操作，得到N个组合向量；

边框回归层，至少基于所述N个组合向量，在第二图片中输出预测边框的信息，所述预测边框指示出第二图片包含第一图片的图片内容的区域。

在一个实施例中，第二卷积网络包括第二卷积层和特征提取层，其中第二卷积层对所述第二图片进行卷积处理，得到与第二图片对应的第二卷积特征图；特征提取层基于所述第二卷积特征图，提取所述N个区域分别对应的N个特征向量。

进一步地，根据一种设计，第二卷积层与第一卷积层为共同的卷积层。

根据一种实施方式，所述N个区域是按照预定分割规则，分割得到。

根据另一种实施方式，所述N个区域通过选择性搜索算法，或通过区域生成网络而生成。

根据一种实施方式，组合层进行的组合操作包括，向量点积操作。

根据一种可能的设计，边框回归层包括第一隐层、第二隐层和输出层；

所述第一隐层确定所述第一图片出现在所述N个区域中各个区域的区域概率；

所述第二隐层在至少一个区域中生成备选边框，并得出各个备选边框的置信度；

所述输出层根据各个区域的区域概率和各个备选边框的置信度，输出预测边框的信息，所述预测边框的信息包括，该预测边框的坐标，该预测边框对应的区域概率和置信度。