[发明专利]基于图像识别的门店比对方法

说明书

本发明公开了基于图像识别的门店比对方法，包括训练阶段：1)构成数量为m*k张的mini‑batch门店图片；2)门店图片经过神经网络的最后一个卷积层后得到大小为(N,C,H,W)的特征图；全局池化得到门店图片的全局特征，并且采用tri‑hard的策略，构造三元组，利用三元组损失函数进行训练；3)获取关注的局部区域，然后计算出特征图上对应的区域，通过全局池化得到门店图片的局部特征，利用此局部特征，同样利用所述三元组损失函数进行训练；推理阶段：将门店图片的全局特征和局部特征联合起来，得到门店图片表达的最终特征；计算两个门店图片最终特征之间的距离，如果小于规定阈值认为是同一个门店图片，否则不是同一门店图片。本发明具有提高门店的识别效果的优点。

技术领域

本发明涉及门店识别的技术领域，具体涉及到一种基于图像识别的门店比对方法的技术。

背景技术

现有技术大多数是基于深度学习，利用神经网络对原始图片或者是将原图缩放到不同的尺寸下，利用softmax损失函数学习到一个全局的特征，并用该特征进行后续的检索或者比对的任务。然而在实际的场景中，用户拍摄的门店照片角度、光线变化较大，增加了辨认的难度。有些照片甚至包含了大量的非门店背景信息，如马路，附近的其他门店，天空等，直接使用全局的特征很难得到一个对门店很好的描述，影响最后的识别结果。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于图像识别的门店比对方法，提高门店的识别效果。

为达上述目的，本发明采用以下技术方案：

一种基于图像识别的门店比对方法，所述基于图像识别的门店比对方法包括下列步骤：

训练阶段：

1)每次选择m个门店，每个门店选择k张，构成数量为m*k张的mini-batch门店图片；所述batch是批量的意思，指一次同时传多少张图片给神经网络进行训练，batch＝m*k，一次训练传m*k张门店图片；

2)门店图片经过神经网络的最后一个卷积层后得到大小为(N,C,H,W)的特征图，N表示门店图片的大小，C表示通道数，H表示高度，W表示宽度；

经过global pooling全局池化，或global average pooling全局平均池化，或global Max pooling全局最大池化后得到门店图片的全局特征，并且采用tri-hard的策略，构造三元组，利用三元组损失函数进行训练，所述tri-hard的策略是指将步骤1)经过神经网络前向传播后得到m*k个样本的特征，经神经网络输出得到一个m*k个向量，计算这m*k个向量两两之间的欧式距离，从这些距离中找出同一家门店但特征的距离最大的最难正样本对和不同门店但距离最近的最难负样本对，所述三元组损失函数为max(0，最难正样本对的距离-最难负样本对距离+margin)，margin是可调整参数；

3)根据步骤2)中得到的所述三元组，利用orb算法得到每一个三元组在原图上的特征点，将所述特征点附近的某一领域作为关注的局部区域，然后计算出特征图上对应的区域，通过roi align将该区域映射为一个固定大小的特征图，经过global pooling全局池化，或global average pooling全局平均池化，或global Max pooling全局最大池化后得到门店图片的局部特征，利用此局部特征，同样利用所述三元组损失函数进行训练；

推理阶段：