[发明专利]基于影像监测的货品感知系统及货品感知方法

说明书

本发明提供一种基于影像监测的货品感知系统及货品感知方法；所述货品感知系统包括样本采集单元、模型训练单元、实时图片采集单元以及货品种类获取单元；所述货品感知方法包括样本采集步骤、模型训练步骤、实时图片采集步骤以及货品种类获取步骤。本发明的有益效果在于，可以判断货架上货品的取放状态，可以根据货架前方空间的实时图片判断出被取走或被放回的货品的具体种类。

技术领域

本发明涉及一种用于零售业的货品感知技术，具体地说，涉及一种基于影像监测的货品感知系统及感知方法。

背景技术

传统零售业的购物方式，每一家超市货便利店需要有专门的销售人员和收款人员，人力成本较高。随着电子支付技术、身份感知技术及云计算技术的发展，无人超市项目在技术上具备很高的可行性。在无人超市项目中，急需解决的一个基本问题就是用户选购货品的判断和记录问题，具体地说，服务器需要准确判定用户从货架上取走货品的种类、取走货品的数量及单价等，以便自动为用户实现结算。

现有技术中，有人采用RFID技术感知用户选购的货品，这种方式需要在每一个货品上设置RFID标签，在门禁处设置RFID读写器，其不足之处在于，首先，硬件成本较高，每一RFID标签的价格大约在0.5-1元左右，标签会提升每一种货品的成本，降低超市的竞争力，对于成本为5元的货品来说，加装RFID标签会提升其成本的10-20%；其次，货品感知存在被屏蔽、被去除的可能性，从而出现用户蒙蔽RFID阅读器的现象，导致货品丢失；再次，该方案中只有在超市门禁处才能实现结算，如果有用户在离店前将可食用的货品吃掉，将包装留在超市里，RFID阅读器也无法感知和确定用户的真实消费金额。也就是说，这一方案高度依靠市民用户的自律性和道德水平，而不是用技术手段加以约束，这样的无人超市营业过程中的风险较大。

发明内容

本发明的目的在于，提供一种基于影像监测的货品感知技术，可以解决现有技术存在的货品取放状态的感知精准度差、监控误差较大、成本较高、货品容易丢失的技术问题。

为实现上述目的，本发明提供一种基于影像监测的货品感知系统，包括：样本采集单元，用以采集多组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识即为该组图片样本对应的货品的种类；模型训练单元，用以根据多组图片样本中的每一样本图片及其组别标识训练卷积神经网络模型，获取货品识别模型；实时图片采集单元，用以连续采集货架前方空间的至少一实时图片，每一实时图片包括货品图片的部分或全部；以及货品种类获取单元，用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类及数量。

进一步地，在不同实施例中，所述基于影像监测的货品感知系统，还包括第一摄像头，连接至所述样本采集单元，用以拍摄每一货品多个角度多个距离的图片；第二摄像头，连接至所述实时图片采集单元，用以拍摄一货架前方空间的实时图片；其中，所述第二摄像头的镜头的视野范围覆盖所述货架前方空间。

进一步地，在不同实施例中，所述第二摄像头的数量为两个或四个；所述第二摄像头的镜头朝向所述货架前方的空间区域的中部；所述第二摄像头的镜头的中轴线与水平面夹角为30-60度；和/或，所述第二摄像头的镜头与所述货架上端或下端的距离为0.8-1.2米；和/或，所述第二摄像头的镜头与所述货架一侧边的距离为0.8-1.2米。

进一步地，在不同实施例中，所述模型训练单元包括分组模型训练单元，将多组训练样本的每一样本图片及其组别标识输入至卷积神经网络模型，经训练后获取分组模型；其中，所述训练样本为所述多组图片样本的全部或部分，所述分组模型即为货品识别模型。