[发明专利]物品识别方法及系统、电子设备

权利要求书

1.一种物品识别方法，其特征在于，包括：

通过图像捕获装置获取物品的多帧图像；

对所述物品的多帧图像进行处理，以获得每帧图像中所述物品的位置信息和类别信息；

通过信息捕获装置获取所述物品的辅助信息；

将所述位置信息与所述辅助信息进行多模态融合，获得融合结果；

根据所述类别信息和所述融合结果，确定所述物品的识别结果；

所述方法还包括：通过图像捕获装置获取目标部位的多帧图像；对所述目标部位的多帧图像进行处理，以获得每帧图像中所述目标部位的位置信息和判别结果，其中，对所述目标部位的每帧图像进行图像预处理，以增强用户的目标部位的图像轮廓；选取进行图像预处理后的每帧图像中出现用户的目标部位的部位候选区域；提取所述部位候选区域中的特征信息，得到多个部位特征；通过预先训练的分类器识别所述多个部位特征，以得到每帧图像中所述目标部位的位置信息及判别结果，

所述方法还包括：根据所述融合结果，确定物品的跟踪轨迹；对所述跟踪轨迹进行分类，得到轨迹分类结果，其中，所述轨迹分类结果对应于物品的移动结果；根据所述轨迹分类结果，确定物品拿取结果和物品放回结果；根据物品拿取结果和物品放回结果，更新物品管理列表；

根据所述融合结果，确定物品的跟踪轨迹包括：根据所述融合结果，获得所述物品的位置信息和所述物品的移动趋势；根据所述物品当前的检测框与预测的候选框之间的重合相似度和特征相似度，判断当前检测结果与上一帧检测结果的匹配度，得到物品的跟踪轨迹，其中，所述预测的候选框在上一帧所述物品的位置信息基础上根据所述物品的移动趋势获得，所述跟踪轨迹包括：在每个时间节点上物品的位置、物品种类、物品移动的时间戳。

2.根据权利要求1所述的方法，其特征在于，对所述物品的多帧图像进行处理，以获得每帧图像中所述物品的位置信息和类别信息包括：

对所述物品的每帧图像进行图像预处理；

确定进行图像预处理后的每帧图像中的物品检测框和所述类别信息，其中，在所述物品检测框中包括至少一种物品；

根据所述物品检测框确定所述物品的位置信息。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：对所述物品检测框进行非极大值抑制。

4.根据权利要求1所述的方法，其特征在于，根据所述每帧图像中所述目标部位的位置信息和判别结果、所述物品的所述类别信息和所述融合结果，确定所述物品的识别结果。

5.根据权利要求1所述的方法，其特征在于，选取进行图像预处理后的每帧图像中出现用户的目标部位的部位候选区域，包括：

通过子窗口扫描每帧图像，以确定每帧图像中可能出现用户的目标部位的部位候选区域。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述物品进行细粒度分类。

7.根据权利要求1所述的方法，其特征在于，所述信息捕获装置包括下述至少之一：深度相机、读卡器、重力装置、气味传感器。

8.根据权利要求7所述的方法，其特征在于，在所述信息捕获装置为所述深度相机时，通过所述深度相机获取所述物品的深度图像，所述物品的辅助信息包括深度信息。