[发明专利]用于购物车内商品数量确认的方法、系统及存储介质

说明书

本发明公开了一种用于购物车内商品数量确认的方法、系统及存储介质，该方法包括：步骤S1：在购物过程中，实时获取购物车内图像，并对图像进行预处理，得到处理后图像；步骤S2：对处理后图像进行基于深度学习模型的目标检测与跟踪，得到第一轨迹，对处理后图像进行基于数字图像处理的目标检测与跟踪，得到第二轨迹；步骤S3：有商品扫码操作的商品进出购物车时，根据第一轨迹，进行购物行为判断，未进行商品扫码操作的商品进出购物车时，根据第二轨迹，进行购物行为判断，得到判断结果；步骤S4：当购物车内商品数量与扫码商品数量不一致时，在购物车端对顾客进行提醒，和/或，将不一致信息反馈至超市端。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种用于购物车内商品数量确认的方法、系统及存储介质。

背景技术

现阶段超市购物是网购不能取代的生活方式，随着市场的需求以及技术的发展，具有自助结算功能的智能购物车已经出现在大型超市中，顾客可以在购物过程中对需要购买的商品自助扫码，并在购物结束后快速结算，大大减少了传统购物排队结算的时间。

相关技术中，主要通过判断购物车中商品数量与顾客购物清单中的商品数量是否一致，来防止智能购物车的漏扫。一种是通过硬件设备实现，例如是重力感应秤，商品重量预先存入数据库，在购买的过程中，将扫描商品的重量从数据库中取出与重力感应秤重量变化作对比。一种是通过软件实现，例如是图像差分识别法，通过差分与背景建模计算出前景与背景图像，然后进行匹配识别；或者是肤色建模法，通过差分获得运行目标，然后使用肤色模型判别运动目标是否手持商品；通过神经网络模型识别商品，通过摄像头获取放入或取出购物车商品图像，然后经过图像预处理、特征提取和神经网络模型识别购买商品数量。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：依靠硬件设备的解决方案需要各设备之间进行通信，后期维护复杂且前期投入成本较高；传统图像处理的解决方案对于环境和背景的依赖性较强，当环境以及其他因素干扰时，识别性能大大降低，泛化性较差；基于神经网络模型识别商品的方法需要建立大量的商品数据集，当有新商品不能及时更新模型，造成误识别，在商品重叠时将会产生漏检现象。

发明内容

本公开实施例提供了一种用于购物车内商品数量确认的方法、系统及存储介质，以解决现有技术中依靠硬件设备的解决方案需要各设备之间进行通信，后期维护复杂且前期投入成本较高；传统图像处理的解决方案对于环境和背景的依赖性较强，当环境以及其他因素干扰时，识别性能大大降低，泛化性较差；基于神经网络模型识别商品的方法需要建立大量的商品数据集，当有新商品不能及时更新模型，造成误识别，在商品重叠时将会产生漏检现象的技术问题。

第一方面，提供了一种用于购物车内商品数量确认的方法，该方法包括：步骤S1：在购物过程中，实时获取购物车内图像，并对所述购物车内图像进行预处理，得到处理后图像；步骤S2：对所述处理后图像进行基于深度学习模型的目标检测与跟踪，得到第一轨迹，对所述处理后图像进行基于数字图像处理的目标检测与跟踪，得到第二轨迹，所述第一轨迹和所述第二轨迹的获取同时进行；步骤S3：有商品扫码操作的商品进出购物车时，根据所述第一轨迹，进行购物行为判断，未进行商品扫码操作的商品进出购物车时，根据所述第二轨迹，进行购物行为判断，得到判断结果；步骤S4：所述判断结果中，当购物车内商品数量与扫码商品数量不一致时，在购物车端对顾客进行提醒，和/或，将不一致信息反馈至超市端。

结合第一方面，在第一方面的第一种可能的实现方式中，所述步骤S2中，对所述处理后图像进行基于深度学习模型的目标检测与跟踪，得到第一轨迹，包括：步骤S21：检测所述处理后图像中是否有手，存在手时，转入步骤S22，否则，转入步骤S23；步骤S22：计算手部检测框和现有检测轨迹是否匹配，匹配时，将当前帧图像添加至匹配轨迹中，得到第一轨迹；步骤S23：轨迹置为预留状态，经过预设时间间隔后，轨迹置为结束状态。