[发明专利]商品识别方法及智能货柜系统

权利要求书

1.一种商品识别方法，其特征在于，应用于智能货柜，所述智能货柜包括若干货架层，每一所述货架层设有第一图像获取装置和第二图像获取装置；

所述方法包括：

通过所述第一图像获取装置获取第一图像，并通过所述第二图像获取装置获取第二图像；

对所述第一图像和/或所述第二图像进行畸变校正处理；

对所述第一图像和所述第二图像进行拼接，以得到拼接图像；

根据所述拼接图像，获取原始训练图像；

对所述原始训练图像进行所述畸变校正处理，并将畸变校正处理后的所述原始训练图像记为第一数据集；

根据所述原始训练图像和所述第一数据集，训练原始识别模型，将训练后的所述原始识别模型作为第一中间模型；

将所述拼接图像输入所述第一中间模型，获取所述第一中间模型输出的第二数据集；

根据所述原始训练图像、所述第一数据集、所述第二数据集，训练所述第一中间模型，将训练后的所述第一中间模型作为第二中间模型；

将所述第二数据集输入所述第二中间模型，获取所述第二中间模型输出的第三数据集；

在根据所述拼接图像对所述第三数据集进行筛选或者人工标注后，根据原始训练图像、所述第一数据集、所述第三数据集，训练所述第二中间模型，将训练后的所述第二中间模型作为预设识别模型；

通过所述预设识别模型进行商品识别。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像和所述第二图像进行拼接，以得到拼接图像，具体包括：

分别提取所述第一图像的第一特征点以及所述第二图像的第二特征点；

根据所述第一特征点和所述第二特征点，获取匹配特征点集；

根据所述匹配特征点集，将所述第一图像和所述第二图像转换到同一坐标系下，以得到所述拼接图像。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一图像和所述第二图像进行拼接，以得到拼接图像，具体还包括：

在所述将所述第一图像和所述第二图像转换到同一坐标系下之后，对所述第一图像和所述第二图像的重叠区域进行加权融合处理；

将处理后的所述第一图像和所述第二图像组成的图像作为所述拼接图像。

4.根据权利要求1所述的方法，其特征在于，当所述第一图像和/或所述第二图像为鱼眼图像时，所述对所述第一图像和/或所述第二图像进行畸变校正处理，具体包括：

根据所述鱼眼图像与目标图像的映射关系，确定所述鱼眼图像中的每个像素点在所述目标图像上的坐标；

根据确定的坐标以及所述鱼眼图像，对所述目标图像进行双线性插值，得到所述目标图像中的每个像素点的像素值，以将插值后得到的所述目标图像作为畸变校正处理后的鱼眼图像。

5.根据权利要求1所述的方法，其特征在于，所述第一图像获取装置和/或所述第二图像获取装置为鱼眼相机。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述通过所述预设识别模型进行商品识别，具体包括：

在商品购买之前，通过所述预设识别模型识别所述智能货柜中的原有商品；

当确认商品挑选完成后，通过所述预设识别模型识别所述智能货柜中的剩余商品；

比较所述原有商品和所述剩余商品，获取结算商品。

7.一种智能货柜系统，其特征在于，包括智能货柜和云端服务器；

所述智能货柜包括若干货架层，每一所述货架层设有第一图像获取装置和第二图像获取装置，所述第一图像获取装置用于获取第一图像，所述第二图像获取装置用于获取第二图像；

所述云端服务器包括处理器和存储器，所述存储器用于存放至少一可执行指令，当所述云端服务器运行时，所述处理器执行所述可执行指令，使所述处理器执行根据权利要求1-6任一项所述的商品识别方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行根据权利要求1-6任一项所述的商品识别方法的步骤。