[发明专利]一种镜像视觉识别自助售货机系统

摘要

本发明涉及一种镜像视觉识别自助售货机系统，包括货柜，解码装置，图像采集系统，智能处理装置，通讯装置，后台数据系统，后台服务系统，用户移动终端；本发明结合使用两种计算机视觉物体识别算法自动识别客户从货柜拿取的商品，有效地降低了传统计算机视觉识别的误差；同时利用镜面成像原理，有效的利用货柜的空间，在有限的层高和有限的低成本摄像头可视角度下，使得摄像头达到更大的拍摄面积，节约成本。

主权项

1.一种镜像视觉识别自助售货机系统，其特征在于：包括货柜，解码装置，图像采集系统，智能处理装置，通讯装置，报警装置，后台数据系统，后台服务系统，用户移动终端；所述货柜根据商品的尺寸进行分区，每个区内商品层叠放置，货柜内设有所述图像采集系统，货柜外表面设有所述解码装置；所述智能处理装置，所述通讯装置，所述报警装置位于所述货柜的后部；所述解码装置可通过扫描所述用户移动终端上的包含有用户身份和付款账户的图片并且解码，来判定该用户是否为合法用户；所述图像采集系统包括摄像装置和镜面成像装置；所述摄像装置包括两类摄像头，由不少于三个普通摄像头组成的摄像头组来拍摄所述镜面成像装置形成的图像，为第一类摄像头；由不少于两个全景摄像头组成的摄像头组来拍摄消费者在取物过程中行为的图片和视频，为第二类摄像头；所述镜面成像装置由光学反射镜片构成，光学反射镜片能够投射出货柜内全部商品的摆放情况，所述第一类摄像头通过光学反射镜片捕捉到货柜内全部商品的图像，所述第一类摄像头的拍摄面积由公式(1)计算：其中Sg为所述第一类摄像头的拍摄面积，单位为平方米；Sc所述镜面成像装置中光学反射镜片的面积，单位为平方米；d为所述第一类摄像头在拍摄过程中距离光学平面镜片所形成的虚像的距离，单位为米；f为所述第一类摄像头的焦距，单位为毫米；γ所述第一类摄像头的视场角，取值为0°至90°；i为由于所述第一类摄像头的镜头的形状所引起的图象畸变因子，取0到1之间的有理数；所述智能处理装置利用来自所述图像采集系统的图片和视频，采用慢速精确的Mask R‑CNN算法，慢速精确的Mask R‑CNN算法能够对获取的图片进行分区，提取到图片中物体的形状、颜色的特征，再将提取的特征进行判别，精细修正后来确定货柜门锁闭状态下的所述货柜内的商品库存；所述智能处理装置利用来自所述图像采集系统的图片和视频，采用Focal Loss修正的yolo实时物体识别算法，Focal Loss修正的yolo实时物体识别算法能够实时检测取物过程中人体的姿势姿态以及人与商品的交互动作；所述通讯装置与所述解码装置，所述智能处理装置相连，能够利用4G无线传输技术传输将来自所述解码装置，所述智能处理装置的数据传输至所述后台数据系统；所述报警装置利用4G无线传输技术传输，接收来自所述后台服务系统的报警信号；所述后台数据系统接收来自所述通讯装置的数据，并进行处理，将处理结果传输至所述后台服务系统；所述后台服务系统实时接收来自所述后台数据系统的用户信息，异常信号和消费信息，并能报警和对用户的账户进行扣款；所述用户移动终端与所述后台服务系统通过无线网络相连，进行通讯；其货柜取物的方法步骤是：S1、用户使用前，货柜门处于锁闭状态，所述图像采集系统中的第一类摄像头利用所述镜面成像装置实时拍摄所述货柜内所有商品的摆放情况，并采用慢速精确的Mask R‑CNN算法，通过识别货柜内不同商品的数量，得出货柜内不同商品的库存数据；所述通讯装置将上述库存数据传输至所述后台数据系统；S2、用户利用所述用户移动终端上的包含有用户身份和付款账户的图片，通过所述解码装置的识别，判定为合法用户后，所述货柜门解锁；所述通讯装置将该用户信息传输至所述后台数据系统，所述后台服务系统实时接收来自所述后台数据系统的用户信息；S3、所述摄像装置中的所述第二类摄像头拍摄用户在取物过程中行为的图片和视频，所述处理控制系统根据实时拍摄的图片和视频，采用Focal Loss修正的yolo实时物体识别算法，来实时检测所述第二类摄像头的摄像范围内的人体的姿势姿态以及人与商品的交互动作，当人体在取物过程中出现异常行为时，所述通讯装置将该异常信号实时传输至所述后台数据系统，所述后台服务系统接收来自所述后台数据系统的实时的异常信号，锁定该用户账户信息，并将报警信号传输至所述报警装置，所述报警装置报警；所述摄像装置实时保存该异常用户的操作视频；S4、用户关闭货柜门，货柜门自动锁住，所述通讯装置将锁闭信号传输至所述后台数据系统；此时重复S1中的步骤，所述后台数据系统得到用户开闭货柜门前后的商品库存数据，根据商品的库存数据变化计算出用户的消费数据；S5、所述后台数据系统根据步骤S3中用户的取物行为，来校验步骤S4中用户消费的商品及数量与用户当时的取物行为是否一致，进一步确定用户的消费数据；并将该消费数据传输至所述后台服务系统，所述后台服务系统与用户的付款账户进行通讯，实现自动扣费，该扣款信息可在用户的付款账户上查询到。