[发明专利]用于购物车内商品数量确认的方法、系统及存储介质

权利要求书

1.一种用于购物车内商品数量确认的方法，其特征在于，包括：

步骤S1：在购物过程中，实时获取购物车内图像，并对所述购物车内图像进行预处理，得到处理后图像；

步骤S2：对所述处理后图像进行基于深度学习模型的目标检测与跟踪，得到手的运动轨迹，即第一轨迹，对所述处理后图像进行基于数字图像处理的目标检测与跟踪，得到运动物体的运动轨迹，即第二轨迹，所述第一轨迹和所述第二轨迹的获取同时进行；

步骤S3：有商品扫码操作的商品进出购物车时，根据所述第一轨迹，进行购物行为判断，未进行商品扫码操作的商品进出购物车时，根据所述第二轨迹，进行购物行为判断，得到判断结果；

分别判断所述第一轨迹和所述第二轨迹是否结束，对于结束的轨迹判断其是否有效，对于未结束的轨迹，记录轨迹信息并转入步骤S1，对于有效的第一轨迹或有效的第二轨迹进行购物行为判断；

其中，所述第一轨迹或所述第二轨迹的预留帧数大于第一预设阈值时，轨迹结束，否则，轨迹未结束；

所述轨迹长度大于第二预设阈值时，轨迹有效，否则，轨迹无效；

有商品扫码操作的商品进出购物车时，根据有效的第一轨迹，进行购物行为判断，包括：

步骤S31：根据所述有效的第一轨迹的帧数，将所述有效的第一轨迹划分为第一部分、第二部分和第三部分；

步骤S32：获取所述第一部分中，手部持有商品与未持有商品的第一比例，所述第一比例大于第三预设阈值，商品进入购物车，否则，商品未进入购物车；

步骤S33：获取所述第三部分中，手部持有商品与未持有商品的第二比例，所述第二比例大于第四预设阈值，商品从购物车拿出，否则，商品仍在购物车内；

未进行商品扫码操作的商品进出购物车时，根据有效的第二轨迹，进行购物行为判断，包括：

步骤S34：根据所述有效的第二轨迹的动作方向，对商品进出购物车进行判断；

步骤S4：所述判断结果中，当购物车内商品数量与扫码商品数量不一致时，在购物车端对顾客进行提醒，和/或，将不一致信息反馈至超市端。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2中，对所述处理后图像进行基于深度学习模型的目标检测与跟踪，得到第一轨迹，包括：

步骤S21：检测所述处理后图像中是否有手，存在手时，转入步骤S22，否则，转入步骤S23；

步骤S22：计算手部检测框和现有检测轨迹是否匹配，匹配时，将当前帧图像添加至匹配轨迹中，得到第一轨迹；

步骤S23：轨迹置为预留状态，经过预设时间间隔后，轨迹置为结束状态。

3.根据权利要求1或2所述的方法，其特征在于，所述步骤S2中，对所述处理后图像进行基于数字图像处理的目标检测与跟踪，得到第二轨迹，包括：

步骤S24：检测所述处理后图像中是否存在运动物体，存在运动物体时，转入步骤S25，否则，转入步骤S26；

步骤S25：将当前帧图像添加至匹配轨迹中，得到第二轨迹；

步骤S26：轨迹置为预留状态。

4.根据权利要求3所述的方法，其特征在于，所述步骤S3中，所述得到判断结果，包括：

商品进入购物车，且商品仍在购物车内，得到判断结果为拿进商品；

商品未进入购物车，且商品从购物车拿出，得到判断结果为拿出商品；

商品进入购物车，且商品从购物车拿出，得到判断结果为更换商品；

商品未进入购物车，且商品仍在购物车内，得到判断结果为空手进出；

光流方向为远离购物车，得到判断结果为商品掉出，所述光流方向为指向购物车，得到判断结果为拿进商品。

5.一种用于购物车内商品数量确认的系统，其特征在于，包括：

购物车，用于放置商品；

图像获取终端，设置于所述购物车任一侧面上方，所述图像获取装置用于实时获取购物车容置范围内图像；

扫码终端，用于对商品进行扫码操作；

结算终端，结合获取到的所述购物车容置范围内图像和商品扫码信息，根据权利要求1至4中任一项所述的用于购物车内商品数量确认的方法，进行购物车内商品数量确认。

6.一种存储介质，其特征在于，所述存储介质存储有计算机指令，所述指令被处理器执行时实现权利要求1至4中任一项所述的用于购物车内商品数量确认的方法。