[发明专利]提升基于深度学习的菜品识别系统识别精度的方法

说明书

本发明公开了一种提升基于深度学习的菜品识别系统精度的方法，对菜品采集连续的多帧图片，求取每一帧图片中各个菜品的中心坐标，利用曼哈顿距离公式计算连续的前后两帧图片中同一个菜品对应的中心坐标差值，直到该中心坐标差值小于设定阈值，取最后一帧图片进行菜品识别；裁剪得到包含菜品的图片进行固定角度范围内的随机旋转和翻转，结合亮度和对比度随机调整得到多张增强图片；提取每张增强图片的菜品信息特征，计算出菜品信息特征均值；菜品信息特征均值与数据库里储存的菜品信息特征进行特征对比判断，输出菜品的识别结果。本发明提供的菜品识别方法可获取稳定图像帧，提高菜品识别精度，增强菜品的预测得分，提高了菜品识别结果的置信度。

技术领域

本发明涉及图像识别技术领域，具体是一种提升基于深度学习的菜品识别系统识别精度的方法。

背景技术

随着社会的快速发展，为了体现方便快捷，现阶段大部分的餐厅都采用了自主挑选菜品，排队进行结账。由于结账分为人工计价和自动计价，随着食客人数的增多，人工计价效率低，正确率无法得到保障等缺点就会显露出来。随着人工智能以及移动端互联网的规模急速增长，人们对于“智能化”的需求越来越大，因此近年来出现了一些自动计价方法。在餐饮行业方面，当前越来越多许高校以及大型企业的食堂，引入菜品智能识别与结算设备。

现有的技术有单独使用深度学习目标检测或语义分割的菜品识别方法在智能结算过程中，智能结算台通过摄像头获取结算时的菜品图片，即可端到端直接获取到每个菜品的具体位置和所属类别，智能结算系统根据每个菜品的检测结果进行快速关联，计算出当前订单的结算总金额。但是，该种方式使用端到端的检测模式对标签数据需求量大，需要更高的人力成本；只适用于固定类别的菜品识别，不能识别新增的菜品，灵活性低；端到端模式的泛化能力差，菜品识别精度低。

还有利用结合深度学习目标检测和图像分类的菜品识别方法，该种方法通过分阶段形式，实现菜品识别。第一阶段，对采集的菜品图片进行目标检测，定位出当前图片中的所有菜品具体位置；第二阶段，根据目标检测定位的每个菜品位置信息，单独扣取每一个菜品作为一个子图，然后将每个菜品子图送进图像分类网络，识别各个菜品子图的菜品类别。最后，智能结算系统根据每个菜品的检测结果进行快速关联，计算出当前订单的结算总金额。融合深度学习目标检测与图像分类方法，虽然速度没有端到端的模式快，但是识别精度比端到端模式高。目标检测只负责菜品检出，能够增强检测模型的泛化能力，使得检出率高。但是，图像分类网络只适合识别固定类别的菜品，同样无法识别新增菜品。而且，即使是只识别固定类别的菜品，也需要引入一些辅助方法，才能达到一个较好的识别精度。

发明内容

本发明提供一种显著提高基于深度学习的菜品识别系统识别精度，菜品识别率高的方法。

本发明所述的提升基于深度学习的菜品识别系统识别精度的方法,包括以下步骤：

S1,对菜品采集连续的多帧图片，求取每一帧图片中各个菜品的中心坐标，利用曼哈顿距离公式计算连续的前后两帧图片中同一个菜品对应的中心坐标差值，直到该中心坐标差值小于设定阈值，取最后一帧图片进行菜品识别；

S2,对图片进行裁剪，得到包含菜品的图片；

S3,对裁剪的图片进行固定角度范围内的随机旋转和翻转，结合亮度和对比度随机调整得到多张增强图片；

S4,提取每张增强图片的菜品信息特征，得到多个不同的菜品信息特征，计算出菜品信息特征均值；

S5，通过菜品信息特征均值与数据库里储存的菜品信息特征进行特征对比判断，最后输出菜品的识别结果。