[发明专利]一种基于动态计算机视觉识别的智能售卖柜系统及其方法

摘要

本发明采用基于深度学习的动态计算机视觉的识别算法，自动识别消费者从货柜中拿取商品的动作及关联拿取的商品，并进行相应的支付扣款。本发明所涉及的一种基于动态计算机视觉识别的智能售卖柜系统包括：箱体，人机交互组件，常闭电控锁，视频采集系统，视频暂存系统，设备端控制模块，通讯装置，云端中央控制系统，后台商品及危险动作数据库，后台视频分析系统，消费者结算管理系统，货柜管理系统，移动终端，门，主摄像头，副摄像头。该发明识别消费者在开门后的所有动作及动作关联的商品（如拿取或放回），该方案对商品在货柜内如何摆放完全没有要求，且由于识别消费者开柜后的所有动作，如果消费者将有潜在危害的货柜外的商品放入柜内时，系统可以自动识别出来，并自动进行锁柜防止异常情况扩大并保留证据。有效防范了自取式售货机潜在的食品安全问题。

主权项

1.一种基于动态计算机视觉识别的智能售卖柜系统及其方法，其特征在于：包括箱体（1），人机交互组件（2），常闭电控锁（3），视频采集系统（4），视频暂存系统（5），设备端控制模块（6），通讯装置（7），云端中央控制系统（8），后台商品及危险动作数据库（9），后台视频分析系统（10），消费者结算管理系统（11），货柜管理系统（12），移动终端（13），门（14），主摄像头（15），副摄像头（16）；所述门（14）固定于箱体（1）一侧，人机交互组件（2）固定在门（14）上或箱体（1）上，门（14）上安装有常闭电控锁（3）；所述人机交互组件（2）关联用户移动终端进入的地址及设备编号；所述视频采集系统（4）包括位于门（14）上部的主摄像头（15）及位于门（14）中下部的副摄像头（16）；所述设备端控制模块（6），通过通讯模块（7）与云端中央控制系统（8）进行通信，处理机器和云端的信息通讯，信息包括开关门信号、购物视频；同时指挥设备端的电子零配件进行工作；所述云端中央控制系统（8），接收用户移动终端（13）及机器端发送的信息，并结合规则判断并发送处理指令；所述后台货柜管理系统（12）对管理系统内的所有货柜及相关人员的身份ID和操作行为进行管理，根据需要授权各种工作人员对系统和货柜的操作；所述方法步骤为：消费者用移动终端（13）扫描该人机交互组件（2），系统判断消费者是否签署免密扣款协议及是否满足开门的条件，如满足则云端中央控制系统（8）通过通讯装置（7）通知设备端控制模块（6），发送开锁信号给常闭电控锁（3），门（14）打开，消费者购物，同时视频采集系统（4）开始采集购物过程视频；消费者购物结束后，云端中央控制系统（8）通过通讯装置（7）通知设备端控制模块（6）发送闭锁信号给常闭电控锁（3），门（14）关上，常闭电控锁（3）落锁，并向设备端控制模块（6）反馈门已落锁的信号，设备进入其他工作流程，同时视频采集系统（4）停止采集消费者购物视频；所述后台商品及危险动作数据库（9）将售卖柜内所有可售商品的主要特征及消费者潜在危险动作的特征深度学习并记录进商品数据库；所述视频采集系统（4）采集的视频信号存储在各个摄像头关联的视频暂存系统（5）中，消费者购物结束后，视频暂存系统（5）将跟这个消费者相关的视频信息上传到云端，由后台视频分析系统（10）进行分析，消费者的购物行为及关联商品通过计算机视觉识别后与后台商品及危险动作数据库（9）内数据进行比对，符合度达到要求的则反馈识别结果，如果没有找到符合要求的或异常的购物行为，也反馈相关的结果；所述后台视频分析系统（10）识别分析得出消费者正常拿取商品的种类和数量后，消费者结算管理系统（11）根据系统内商品的单价生成账单，从消费者的关联账户进行扣款。