[发明专利]一种镜像视觉识别自助售货机系统

说明书

本发明涉及一种镜像视觉识别自助售货机系统，包括货柜，解码装置，图像采集系统，智能处理装置，通讯装置，后台数据系统，后台服务系统，用户移动终端；本发明结合使用两种计算机视觉物体识别算法自动识别客户从货柜拿取的商品，有效地降低了传统计算机视觉识别的误差；同时利用镜面成像原理，有效的利用货柜的空间，在有限的层高和有限的低成本摄像头可视角度下，使得摄像头达到更大的拍摄面积，节约成本。

技术领域

本发明涉及一种镜像视觉识别自助售货机系统。

背景技术

随着科学技术的不断突破，人们身上越来越多的生物特征被运用到各行业之中，图像识别就是利用图片上的特征结合已有的物理信息，来判断事物所处的状态。目前大多数的视觉识别技术的应用存在很大缺陷，由于技术限制，在短时间内识别对象的行为往往采用快速算法，失误率很高，影响技术的正常使用，而准确率高的慢速算法却往往满足不了实时识别的市场需求。自助货柜采用快速算法识别用户的行为和消费状况，存在很大的失误率，难以推行，同时货柜内狭小空间不易布置多个摄像装置，存在很多拍摄死角，无法全面地拍摄到所有商品的摆放照片。

发明内容

有鉴于此，本发明提供一种解决或部分解决上述问题的镜像视觉识别自助售货机系统。

为达到上述技术方案的效果，本发明的技术方案为：一种镜像视觉识别自助售货机系统，包括货柜，解码装置，图像采集系统，智能处理装置，通讯装置，报警装置，后台数据系统，后台服务系统，用户移动终端；

货柜根据商品的尺寸进行分区，每个区内商品层叠放置，货柜内设有图像采集系统，货柜外表面设有解码装置；智能处理装置，通讯装置，报警装置位于货柜的后部；

解码装置可通过扫描用户移动终端上的包含有用户身份和付款账户的图片并且解码，来判定该用户是否为合法用户；

图像采集系统包括摄像装置和镜面成像装置；摄像装置包括两类摄像头，由不少于三个普通摄像头组成的摄像头组来拍摄镜面成像装置形成的图像，为第一类摄像头；由不少于两个全景摄像头组成的摄像头组来拍摄消费者在取物过程中行为的图片和视频，为第二类摄像头；镜面成像装置由光学反射镜片构成，光学反射镜片能够投射出货柜内全部商品的摆放情况，第一类摄像头通过光学反射镜片捕捉到货柜内全部商品的图像，第一类摄像头的拍摄面积由公式(1)计算：

其中Sg为第一类摄像头的拍摄面积，单位为平方米；Sc镜面成像装置中光学反射镜片的面积，单位为平方米；d为第一类摄像头在拍摄过程中距离光学平面镜片所形成的虚像的距离，单位为米；f为第一类摄像头的焦距，单位为毫米；γ第一类摄像头的视场角，取值为0°至90°；i为由于第一类摄像头的镜头的形状所引起的图象畸变因子，取0到1之间的有理数；

智能处理装置利用来自图像采集系统的图片和视频，采用慢速精确的Mask R-CNN算法，慢速精确的Mask R-CNN算法能够对获取的图片进行分区，提取到图片中物体的形状、颜色的特征，再将提取的特征进行判别，精细修正后来确定货柜门锁闭状态下的所述货柜内的商品库存；所述智能处理装置利用来自所述图像采集系统的图片和视频，采用FocalLoss修正的yolo实时物体识别算法，Focal Loss修正的yolo实时物体识别算法能够实时检测取物过程中人体的姿势姿态以及人与商品的交互动作；

通讯装置与解码装置，智能处理装置相连，能够利用4G无线传输技术传输将来自解码装置，智能处理装置的数据传输至后台数据系统；

报警装置利用4G无线传输技术传输，接收来自后台服务系统的报警信号；

后台数据系统接收来自通讯装置的数据，并进行处理，将处理结果传输至后台服务系统；

后台服务系统实时接收来自后台数据系统的用户信息，异常信号和消费信息，并能报警和对用户的账户进行扣款；