[发明专利]基于图像识别的门店比对方法

权利要求书

1.一种基于图像识别的门店比对方法，其特征在于所述基于图像识别的门店比对方法包括下列步骤：

训练阶段：

1)每次选择m个门店，每个门店选择k张，构成数量为m*k张的mini-batch门店图片；batch是批量的意思，指一次同时传多少张图片给神经网络进行训练，所述mini-batch中的batch＝m*k，一次训练传m*k张门店图片，mini仅仅表示标记名称；

2)门店图片经过神经网络的最后一个卷积层后得到大小为(N,C,H,W)的特征图即经过卷积计算得到的计算结果，N表示门店图片batch的大小，C表示通道数即指的是神经网络卷积层中卷积核的个数，H表示门店图片高度，W表示门店图片宽度，所述特征图表征了输入图片经过卷积操作后得到的特征；

经过global pooling全局池化，或global average pooling全局平均池化，或globalMax pooling全局最大池化后得到门店图片的全局特征，并且采用tri-hard的策略，构造三元组，所述三元组主要用来构造损失函数与训练神经网络，利用三元组损失函数进行训练，对神经网络模型训练后得到的是神经网络模型的参数，所述tri-hard的策略是指将步骤1)输入的m*k张门店照片经过神经网络前向传播后得到m*k个样本的特征，输入的m*k张门店照片经神经网络输出得到m*k个向量，计算m*k个向量中两两之间的欧式距离，从这些距离中找出最难正样本对和最难负样本对，所述最难正样本对是指同一家门店但特征的距离最大的两个样本，所述最难负样本对是指不同门店但特征的距离最近的两个样本；所述三元组损失函数为max(0，最难正样本对的距离-最难负样本对距离+margin)，margin是可调整参数；

3)根据步骤2)中得到的所述三元组，利用orb算法得到每一个三元组在原图即输入神经网络的原始图片上的特征点，将所述特征点附近的某一领域作为关注的局部区域，然后计算出特征图上对应的区域，通过roi align将该区域映射为一个固定大小的特征图，经过global pooling全局池化，或global average pooling全局平均池化，或global Maxpooling全局最大池化后得到门店图片的局部特征，利用此局部特征，同样利用所述三元组损失函数进行训练；

推理阶段：

输入两张门店图片，经过神经网络前向传播，得到门店图片的全局特征和经过最后一个卷积后的特征图；利用orb算法得到两张门店图片的特征点和关注的局部区域，与所述步骤3)同样的操作得到得到门店图片的局部特征；将前述推理阶段的门店图片的全局特征和局部特征联合起来即特征拼接起来，得到门店图片表达的最终特征；

用门店图片的所述最终特征来判断两个门店图片是否是同一门店图片：计算两个门店图片最终特征之间的距离，如果小于规定阈值认为是同一个门店图片，大于所述规定阈值，则认为不是同一门店图片，所述距离是指这两个最终特征向量之间的欧式距离。

2.根据权利要求1所述的基于图像识别的门店比对方法，其特征在于所述规定阈值为1.8～2.5。

3.根据权利要求1所述的基于图像识别的门店比对方法，其特征在于所述步骤1)神经网络采用了下述结构：直接在卷积神经网络结构上去掉最后一层全连接层；在最后一个卷积层之后，接一个global average pooling，作用是全局平均池化，融合全局信息，然后接一个维度为512的全连接层，经过batchnorm后得到最后的特征batchnorm层。