[发明专利]一种基于深度学习图像识别的餐厅自动结算方法及系统

说明书

一种基于深度学习图像识别的餐厅自动结算方法及系统，本系统分为单目摄像头、图像处理模块、计价程序模块及支付系统。通过单目摄像头采集餐盘识别区完整图像，传输至图像处理模块后经ENet Object Detection算法模型的运算得到餐盘的定位框和类别标签数据，将数据输出至计价程序模块，计价程序模块中计价程序根据菜品种类及数量，计算并显示总价格，便于顾客由支付系统进行付款。本发明采用基于深度学习的图像识别技术进行餐厅自动结算，在具有普通视觉技术结算成本低、部署灵活、鲁棒性强等优势的同时，克服了普通视觉技术结算识别在角度、光线、遮挡等不利因素影响下准确度不够的难题，可识别内容也更多，实用性更强。

技术领域

本发明涉及餐饮结算技术领域，尤其涉及一种基于深度学习图像识别的餐厅自动结算方法及系统。

背景技术

餐饮是人们生活中必不可少的环节，随着城市生活节奏的不断加快，越来越多的人通过餐厅解决饮食问题。目前餐厅的主流做法是自主选择然后统一结账计费。总体而言，目前的餐厅结算方式主要有：

(1)传统人工结算方法：

传统人工结算由人工辨别菜品类别、费用并作总计，就餐高峰期时就餐人员较多，人工结算行区分计算效率低下且容易导致错误。

(2)基于条码识别的结算方法：

在餐盘上贴有条码标签与对应的菜价关联，在计费终端用红外或激光条码扫描枪进行读取得到相应价格，再以人工或自动的方式计算总金额实行结算。相较于传统的人工结算，结果更精确可靠，但是由于需要对餐盘逐个扫描，结算效率提升有限，且条码标签易损坏，实际使用时效果并不理想。

(3)基于RFID识别的结算方法：

事先在餐盘内嵌RFID芯片，将菜品价格与相应芯片关联，在计费终端对芯片内容进行读取得到相应菜肴价格。此方法的缺点是必须使用专门的餐具，结算系统成本高，部署复杂，内嵌芯片易损坏。

(4)基于图像识别的结算方法：

现有的基于图像识别的结算方法，将菜品的像素特征或餐盘的颜色、形状、花纹特征与菜价进行关联，在计费终端通过图像识别方法得到相应菜品价格。其中：菜品识别模型复杂，识别率低、易出错，且推出新菜需要重新更新复杂模型；基于餐盘颜色、形状识别的结算系统，识别特征单一，易受光线、角度、餐盘遮挡因素的影响，面对识别环境较差的场景鲁棒性很差；对于在餐盘上印刷特殊图案的识别结算方法，需要使用专门的特殊餐具，后期增添新餐具将不通用。

发明内容

针对目前基于图像识别的结算方法模型复杂，识别率低，在某些使用场景下鲁棒性差，实际使用成本高的缺陷，本发明提出一种基于深度学习图像识别的餐厅自动结算方法及系统。

为实现上述目的，本发明所采取的技术方案是：

一种基于深度学习图像识别的餐厅自动结算方法，其特征在于，包括以下步骤：

(1)通过单目摄像头采集餐盘识别区的完整图像；

(2)将获取的完整图像输入到ENet Object Detection模型系统，首先经过骨干网络ENet提取基本特征，再经过FFWA过滤筛选出便于定位和识别的优质特征，然后输出可信度(conf)和初步的定位框、类别标签；

(3)通过自适应的NMS算法进行后处理，筛选掉可信度(conf)较低的定位框；

(4)输出最终的定位框及类别标签数据；

(5)将最终的定位框及类别标签数据传输至计价程序；

(6)计价程序将最终的定位框及类别标签数据转换成菜品种类及数量，根据预先录入的菜价计算并显示菜品总价格；

(7)客户通过支付系统完成付款，回到步骤(1)。