[发明专利]物品识别方法及系统、电子设备

说明书

本发明公开了一种物品识别方法及系统、电子设备。其中，该方法包括：通过图像捕获装置获取物品的多帧图像；对物品的多帧图像进行处理，以获得每帧图像中物品的位置信息和类别信息；通过信息捕获装置获取物品的辅助信息；将位置信息与辅助信息进行多模态融合，获得融合结果；根据类别信息和融合结果，确定物品的识别结果。本发明解决了相关技术中在识别物品时，识别精度低的技术问题。

技术领域

本发明涉及信息处理技术领域，具体而言，涉及一种物品识别方法及系统、电子设备。

背景技术

在相关技术中，智能货柜是新零售行业发展的一个重要方向，在识别物品时，目前主要有两种解决方案，一种是传统的RFID(Radio Frequency Identification，无线射频识别)技术方案，另一种是基于视觉识别的静态识别。对于第一种，基于RFID电子标签的解决方案，需要为不同类别的物品制定不同的RFID电子标签，通过无线电信号识别电子标签中的数据以达到物品识别与统计目的，其成本高昂，一方面RFID电子标签的成本高，另一方面推向市场后对成千上万的物品粘贴标签的人力成本太高；而且对金属、液体类物品的识别准确度不足；标签容易被人为撕下，导致货损率较高；而对于第二种，基于视觉识别的静态识别方案，需要在货柜的每层顶部安装相机，开门前和关门后各拍摄一张图像，然后通过视觉识别技术自动识别物品种类和数量，最后通过对比得出最后的结果，空间利用率低，因为相机要距离下层隔板要有较高的高度，否则难以拍到全貌，识别精度容易受到物品遮挡影响，物品不能堆叠摆放。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种物品识别方法及系统、电子设备，以至少解决相关技术中在识别物品时，识别精度低的技术问题。

根据本发明实施例的一个方面，提供了一种物品识别方法，包括：通过图像捕获装置获取物品的多帧图像；对所述物品的多帧图像进行处理，以获得每帧图像中所述物品的位置信息和类别信息；通过信息捕获装置获取所述物品的辅助信息；将所述位置信息与所述辅助信息进行多模态融合，获得融合结果；根据所述类别信息和所述融合结果，确定所述物品的识别结果。

进一步地，对所述物品的多帧图像进行处理，以获得每帧图像中所述物品的位置信息和类别信息包括：对所述物品的每帧图像进行图像预处理；确定进行图像预处理后的每帧图像中的物品检测框和所述类别信息，其中，在所述物品检测框中包括至少一种物品；根据所述物品检测框确定所述物品的位置信息。

进一步地，所述方法还包括：对所述物品检测框进行非极大值抑制。

进一步地，所述方法还包括：通过图像捕获装置获取目标部位的多帧图像；对所述目标部位的多帧图像进行处理，以获得每帧图像中所述目标部位的位置信息和判别结果。

进一步地，根据所述每帧图像中所述目标部位的位置信息和判别结果、所述物品的所述类别信息和所述融合结果，确定所述物品的识别结果。

进一步地，对所述目标部位的多帧图像进行处理，以获得每帧图像中所述目标部位的位置信息和判别结果包括：对所述目标部位的每帧图像进行图像预处理，以增强用户的目标部位的图像轮廓；选取进行图像预处理后的每帧图像中出现用户的目标部位的部位候选区域；提取所述部位候选区域中的特征信息，得到多个部位特征；通过预先训练的分类器识别所述多个部位特征，以得到每帧图像中所述目标部位的位置信息及判别结果。

进一步地，选取进行图像预处理后的每帧图像中出现用户的目标部位的部位候选区域，包括：通过子窗口扫描每帧图像，以确定每帧图像中可能出现用户的目标部位的部位候选区域。

进一步地，所述方法还包括：对所述物品进行细粒度分类。

进一步地，所述信息捕获装置包括下述至少之一：深度相机、读卡器、重力装置、气味传感器。