[发明专利]无人货柜上新后的取出商品识别方法和装置

权利要求书

1.一种无人货柜上新后的取出商品识别方法，包括：

获取无人货柜的交易前图像、以及交易后图像；

将无人货柜的交易前图像和新商品支持集、以及交易后图像和新商品支持集分别输入检测模型，得到交易前图像中每个商品的检测区域、以及交易后图像中每个商品的检测区域；所述检测模型采用小样本学习算法；所述新商品支持集包括每种新商品的至少一张样本图片；

将交易前图像中每个商品的检测区域、以及交易后图像中每个商品的检测区域分别输入分类模型，得到交易前图像中每个商品的类别、以及交易后图像中每个商品的类别；所述分类模型采用所有商品的样本图片进行训练；

基于交易前图像中每个商品的类别、和交易后图像中每个商品的类别，确定取出商品的类别和数量。

2.根据权利要求1所述的方法，所述方法还包括：采用以下方式中的一个到两个得到某种新商品的样本图片：

获取新商品在无人货柜外的图片；

获取新商品在无人货柜内的图片。

3.根据权利要求1所述的方法，所述检测模型采用基于迁移学习的检测算法；

所述检测模型为：采用目标域数据集对上新前检测模型进行迁移学习的调整性训练后、增加新商品支持集作为输入得到的上新后检测模型；所述目标域数据集包括每种新商品的若干张样本图片；

所述将无人货柜的交易前图像和新商品支持集、以及交易后图像和新商品支持集分别输入检测模型，包括：将无人货柜的交易前图像和新商品支持集、以及交易后图像和新商品支持集分别输入上新后检测模型。

4.根据权利要求1所述的方法，所述检测模型采用基于元学习的检测算法；所述检测模型采用用于商品检测的元学习任务完成训练；

所述将无人货柜的交易前图像和新商品支持集、以及交易后图像和新商品支持集分别输入检测模型，包括：将新商品支持集加入在线支持集，使在线支持集中包括无人货柜中每种商品的至少一张样本图片；将无人货柜的交易前图像和在线支持集、以及交易后图像和在线支持集分别输入检测模型。

5.根据权利要求1所述的方法，所述检测模型采用基于对比学习的检测算法；

所述检测模型为：采用目标域数据集对上新前检测模型进行对比学习的调整性训练后得到的上新后检测模型；所述目标域数据集包括每种新商品的若干张样本图片；

所述将无人货柜的交易前图像和新商品支持集、以及交易后图像和新商品支持集分别输入检测模型，包括：将新商品支持集加入在线支持集，使在线支持集中包括无人货柜中每种商品的至少一张样本图片；将无人货柜的交易前图像和在线支持集、以及交易后图像和在线支持集分别输入上新后检测模型。

6.根据权利要求5所述的方法，所述检测模型包括目标检测子模型和目标匹配子模型；目标检测子模型的输入包括无人货柜的交易前图像及在线支持集、或交易后图像及在线支持集，输出包括交易前图像中每个商品的检测区域、或交易后图像中每个商品的检测区域；目标匹配子模型的输入包括交易前图像中每个商品的检测区域及在线支持集、或交易后图像中每个商品的检测区域及在线支持集，当交易前或交易后图像检测区域的商品匹配于在线支持集中的商品时，输出匹配的交易前商品的检测区域或交易后商品的检测区域。

7.根据权利要求1所述的方法，所述新商品包括k个类别，每个类别的样本图片数量不超过10张；k为不超过50的自然数。

8.根据权利要求1所述的方法，所述新商品支持集中包括每种新商品的3到5张样本图片。