[发明专利]一种基于RGBD信息与深度学习的商品快速结算系统

权利要求书

1.一种基于RGBD信息与深度学习的商品快速结算系统，其特征在于：该系统由硬件部分及软件部分构成，硬件部分由传送带（1）、商品（2）、结算关口（3）、摄像头（4）及红外传感装置（5）组成，软件部分的主要载体为PC及其他提供程序运行环境的设备，所述商品（2）放置在传送带（1）上，且传送带（1）为商品（2）的输送装置；所述结算关口（3）设置在传送带（1）的一端；所述红外传感装置（5）设置在结算关口（3）的内壁上，且红外传感装置（5）与结算关口（3）通过镶嵌方式相连接；所述摄像头（4）设置在结算关口（3）顶端中间位置的内壁上，且摄像头（4）与结算关口（3）通过镶嵌方式相连接。

2.根据权利要求1所述的一种基于RGBD信息与深度学习的商品快速结算系统，其特征在于：所述软件部分信息输入设备为摄像头（4），且软件部分包括图像采集和拼接、目标商品定位、目标商品特征提取和属性标签识别、图像检索四个功能模块。

3.根据权利要求1所述的一种基于RGBD信息与深度学习的商品快速结算系统，其特征在于：所述软件部分开发工具为Python3.5.2、TensorFlow1.6.0、OpenCV3.2.0。

4.根据权利要求1所述的一种基于RGBD信息与深度学习的商品快速结算系统，其特征在于：所述摄像头（4）及红外传感装置（5）均与载体通过电性相连接。

5.根据权利要求1所述的一种基于RGBD信息与深度学习的商品快速结算系统，其特征在于：所述红外传感装置（5）为LHl958型热释电红外传感器，且红外传感装置（5）由红外线发射端及红外线接收端组成，红外线发射端与红外线接收端在结算关口（3）两侧的内壁上呈对称状分布。

6.根据权利要求1所述的一种基于RGBD信息与深度学习的商品快速结算系统，其特征在于：所述摄像头（4）为RGBD摄像头。

7.一种根据权利要求1所述基于RGBD信息与深度学习的商品快速结算系统的工作方法：将购买的所有商品2无堆叠地排放在传送带1上，红外装置感应5到有商品2经过时，后台系统控制RGBD摄像头4开始采集商品2图像，在商品2离开时停止采集，并将采集到的多张时间序列图像拼接为一副完整图像；然后，基于深度信息对图像中出现的所有目标商品进行定位，得到多个候选区位置信息，并基于这些候选区对相应的位置上的RGB图像进行裁剪和统一大小；接着将这些RGB图像作为一个批次，进行特征提取，可以得到每个目标商品的特征和属性标签；在商品数据库中，利用属性标签进行索引，与相应索引空间中的样本商品特征进行相似度匹配，从而识别商品并获得商品信息。

8.根据权利要求7所述基于RGBD信息与深度学习的商品快速结算系统的工作方法，其特征在于，还包括通过层级属性进行复杂商品的识别，具体步骤如下：

（1）、构建具有层级属性标签的商品数据集：

在商品数据集中，标注信息需要包括目标商品的位置信息和类别信息；

为节省人力，采用RGBD摄像头采集商品图像，并编写程序根据深度信息对图像中的目标商品的位置进行自动标注，另外，类别信息除了要包含商品的最小类别标签，还引入了商品的层级属性标签，用来辅助商品识别，这些属性标签分属不同的属性维度，如品种、品牌、包装等，属性标签就对应于这些属性维度的取值，具体到某一个单品，如伊利纯牛奶，各属性维度的取值分别是牛奶、伊利、盒装等；

（2）、基于层级属性进行多任务学习：

本系统基于商品的层级属性，使用了多任务学习方式，具体的，基于卷积神经网络DenseNet，设计了一个带有分支结构的新模型，各分支可以分别针对不同任务进行学习，在模型训练过程中，经过数据集中不同的属性标签的引导，该模型最后可以提取目标商品在不同属性维度上的属性特征，经过特征融合后，可以得到辨识力更好的商品特征，从而提高商品识别的准确率；

（3）、基于属性标签进行图像检索：

考虑到系统对新商品的识别问题，在获得目标商品的特征信息后，采用特征匹配的方式来代替分类操作，具体过程是将目标商品的特征与商品数据库中的样本商品的特征进行组合，利用一种分类器对该组合特征进行预测，可以得到目标商品就是该样本商品的置信分数，通过对多组组合特征进行预测和比较，最后根据最大置信分数完成商品识别，本专利使用三层全连接神经网络作为分类器，在本专利中，对目标商品的属性标签进行识别后，可以缩小对商品数据库的检索范围，减少与样本商品的特征的组合数，提高商品识别的效率；

（4）、构建样本商品数据库：

超市中的每一种商品在进入超市货架前，都需要在数据库中进行注册，注册过程就是利用模型对商品进行特征提取和属性标签的识别，然后基于属性标签构建具有一定层次结构的索引空间，空间内存放的便是该种商品的融合特征。