[发明专利]零售场景下的商品识别检测计数方法及系统

说明书

本发明提供一种零售场景下的商品识别检测计数方法及系统，属于计算机视觉技术领域，包括：获取待检测的零售场景图像；利用预先训练好的检测模型处理所述待检测的零售场景图像，获取图像中包含的商品的类型及数量；其中，所述预先训练好的检测模型由训练集训练得到，所述训练集包括多张包含有零售商品的照片以及在所述照片中标注商品类别信息和商品数量信息的标签；其中，所述训练集中将零售场景照片的标注转化为COCO数据集采用的格式。本发明利用深度卷积神经网络能够有效的对零售场景中商品进行检测，用一个边界框表示一组商品名称的同时给出这组商品的准确数量实现商品类别检测的同时能够获得商品的数量信息，提高了商品定位精度。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于深度神经网络学习的零售场景下的商品识别检测计数方法及系统。

背景技术

针对零售场景下的商品结算，目前现有的方法，主要是利用射频通信实现的非接触式自动识别技术和基于深度学习的目标检测算法两种方式。

利用射频通信实现的非接触式自动识别技术，通过RFID标签进行非可视化识别。但是由于射频标签成本较高，特别是对于价格相对低廉的商品，RFID标签的使用会对生厂商和销售门店的利润造成较大影响。

基于深度学习的目标检测算法，利用卷积神经网络对货架上的商品进行定位回归分类。但是卷积神经网络的检测结果，都是一个边界框表示一个物品，当商品存在遮挡时，难以准确进行判断，并且无法实现计数功能。

发明内容

本发明的目的在于提供一种能够对零售场景货架上严重遮挡商品进行回归识别和计数的，基于深度神经网络的零售场景下的商品识别检测计数方法及系统，以解决上述背景技术中存在的至少一项技术问题。

为了实现上述目的，本发明采取了如下技术方案：

一方面，本发明提供一种零售场景下的商品识别检测计数方法，包括：

获取待检测的零售场景图像；

利用预先训练好的检测模型处理所述待检测的零售场景图像，获取图像中包含的商品的类型及数量；其中，所述预先训练好的检测模型由训练集训练得到，所述训练集包括多张包含有零售商品的照片以及在所述照片中标注商品类别信息和商品数量信息的标签；其中，所述训练集中将零售场景照片的标注转化为COCO数据集采用的格式。

优选的，使用残差网络与特征金字塔结构作为所述检测模型的主干网络；所述主杆网络中，对图像进行卷积操作后利用残差块获得不同尺度的特征图，利用特征金字塔结构对不同尺度的特征图进行特征融合，得到融合特征图。

优选的，所述主干网络连接候选框生成网络，融合特征图输入到候选框生成网络对进行候选框的生成。

优选的，所述候选框生成网络包括两条支路，一条是对生成的候选框进行分类，对候选框内所包含图像进行判断，将其分为前景背景；另一条支路是对候选框进行初步调整，得到初步的目标建议；所述候选框生成网络最终整合两条支路的检测建议，通过计算得到最终的检测目标建议。

优选的，所述候选框生成网络连接级联的目标检测网络结构，依据检测目标建议，进行多阶段的定位计数与分类，生成最终的目标检测框，其中包含最终的商品类别和所包含商品的数量。

优选的，在训练所述检测模型时，使用多任务损失函数来实现端到端的训练，多任务损失函数由分类损失、回归损失、计数损失构成。

第二方面，本发明提供一种零售场景下的商品识别检测计数系统，包括：

获取模块，用于获取待检测的零售场景图像；