[发明专利]一种基于深度学习图像识别的餐厅自动结算方法及系统

权利要求书

1.一种基于深度学习图像识别的餐厅自动结算方法，其特征在于，包括以下步骤：

（1）通过单目摄像头采集餐盘识别区的完整图像；

（2）将获取的完整图像输入到ENet Object Detection模型系统，首先经过骨干网络ENet提取基本特征，再经过FFWA过滤筛选出便于定位和识别的优质特征，然后输出可信度和初步的定位框、类别标签，其中，所述FFWA是基于特征金字塔网络和双向注意力机制的快速物体检测算法，所述FFWA利用上层的语义信息来监督下层的外观特征筛选，并利用双向注意力机制筛选每层特征以抽取优质特征；

（3）通过自适应的NMS算法进行后处理，筛选掉可信度较低的定位框；

（4）输出最终的定位框及类别标签数据；

（5）将最终的定位框及类别标签数据传输至计价程序；

（6）计价程序将最终的定位框及类别标签数据转换成菜品种类及数量，根据预先录入的菜价计算并显示菜品总价格；

（7）客户通过支付系统完成付款，回到步骤（1）。

2.如权利要求1所述的基于深度学习图像识别的餐厅自动结算方法，其特征在于，所述的“定位框”及“类别标签”的生成方法及作用分别是：输入餐盘识别区图像后，所述ENetObject Detection模型系统从整个图像中识别出餐盘并用框图标记出来，便于记录餐盘数量，此即生成“定位框”；与此同时，所述ENet Object Detection模型系统识别出不同种类的餐盘，为便于区分不同种类而对餐盘施加标签，此即生成“类别标签”。

3.如权利要求1所述的基于深度学习图像识别的餐厅自动结算方法，其特征在于，所述的定位框及类别标签数据属于一种特征数据，把这些特征数据与具体的菜品种类、数量进行对应，当生成具体的“定位框”及“类别标签”数据时，就会生成对应的菜品种类及数量数据。

4.一种基于深度学习图像识别的餐厅自动结算系统，其特征在于，包括：

（1）用于采集餐盘识别区的完整图像的单目摄像头；

（2）图像处理模块，用于将单目摄像头采集的完整图像进行图像处理，输出定位框及类别标签数据；

（3）计价程序模块，用于将最终的定位框及类别标签数据转换成菜品种类及数量，根据预先录入的菜价计算并显示菜品总价格；

（4）支付系统，用于客户根据计价程序模块提供的菜品总价格完成付款。

5.如权利要求4所述的基于深度学习图像识别的餐厅自动结算系统，其特征在于，所述的图像处理模块为ENet Object Detection模型。

6.如权利要求5所述的基于深度学习图像识别的餐厅自动结算系统，其特征在于，所述的ENet Object Detection模型包括：

（a）用于提取完整图像基本特征的骨干网络ENet模块；

（b）用于过滤筛选出便于定位和识别的优质特征的FFWA模块；

该完整图像经过ENet模块和FFWA模块的处理后输出可信度和初步的定位框、类别标签；

（c）自适应的NMS算法模块，用于对经过ENet模块和FFWA模块输出的数据进行后处理，筛选掉可信度较低的定位框，并输出最终的定位框及类别标签数据。

7.如权利要求4所述的基于深度学习图像识别的餐厅自动结算系统，其特征在于，所述的图像处理模块、计价程序模块和支付系统安装在计算机系统中运行。