[发明专利]一种基于图像语义深度学习的餐饮健康分析方法

说明书

本发明提供了一种基于图像语义深度学习的餐饮健康分析方法，以菜谱图像作为输入，能够实现高精度的菜品图像分类和菜品营养素计算。在菜品图像分类部分，本发明构建了可学习菜谱间距离的菜品图像分类网络，网络以菜品图像和菜谱信息作为输入，在学习图像信息的同时，深入理解菜谱中原料部分的信息，进一步提升分类准确率。在营养素计算部分，对图像进行像素级语义分割，精确每个像素点代表的图像信息，明确每张图片中各类原料之间的比例，进一步修正菜谱中原料含量。对于同样的菜品，不同图片会返回不同营养素含量信息，使得营养素计算模块更精确、科学。

技术领域

本发明主要涉及计算机视觉相关技术，具体涉及基于深度学习的菜品图像识别和菜品图像语义分割技术。

背景技术

在当今社会，饮食健康已经是普通人民群众都在关注和关心的一个话题。合理健康的饮食也可以帮助人们预防糖尿病等饮食相关的疾病。然而，在现阶段，饮食健康的科普和普及仍然不够，大多数人对于真正科学的饮食健康了解仍然不足。因此饮食健康需要的不仅仅是关注度的提升，更重要的是有一个帮助群众科学的认识餐饮并给出具有医学价值的指导建议的途径，群众需要的不只是对饮食上一个感性的认识，更需要具体数字和数据上的指导。

在菜品分析系统方面，现阶段相关餐饮分析系统大多存在两种缺陷：需要用户具备菜品相关知识，如原材料、菜谱等；提供的营养素信息不够全面，缺少科学的医学指导建议。

在菜品分析算法方面，目前主流的菜品图像分析技术有两种：

(1)借助卷积神经网络训练一个单标签分类器，一种菜品对应一个类别，每张图片得出一个类别。由于菜品识别任务中图片往往具有高相似性和复杂度，这类方法往往无法取得一个很好的效果。

(2)以卷积神经网络为骨架，训练一个多标签分类器，每一种原料对应一个类别，每张图片得出多个类别。这类方法需要大量额外人工信息，如菜品原料之间的先验关系等，同时也没有对菜谱图片进行深入学习，在准确率上仍具有提升空间。

同时，目前没有对于菜品图片原料的像素级语义分割，对于菜品营养素计算停留在表面的针对菜品的数据查询，即同种菜品的不同图片得出的单位质量营养素是相同的，无法做到针对用户图片的精细分析与计算。

发明内容

本发明是一款可以满足在饮食健康上的大部分日常需求的餐饮健康分析系统。它能够根据查询输入的菜品图片识别对应菜品名称及其菜谱。之后，更进一步对图片进行像素级语义分割，理解图片中每个像素包含的菜品原料信息，从而精确的计算出菜品的营养素含量信息。本发明仅仅需要输入菜品图片及其质量，输出营养元素参考表。

本发明的技术方案如下：

(1)目标检测：用户输入图片后，通过目标检测方法检测出碗等容器的位置，进一步精确菜品所在位置，得出菜品的包围框，去除背景等无关的影响因素。

(2)可学习菜谱间距离的菜品识别：根据步骤(1)得到菜品的包围框后，通过一个可学习类间距离的分类模型，同时学习图片和菜谱信息，将两者匹配，最终得出与图片匹配度最高的五种菜品及其菜谱供用户选择。

(3)菜品营养素计算：得出菜品名称及菜谱后，对于有多种主要食材的菜品，进行像素级的语义划分，将菜品原料根据颜色进行划分，进一步精细各个原料所占比例，从而更精确的计算营养素含量。

本发明的优势及特征在于，该方法无需能够自动对菜品图像进行有效区域提取，并采用识别模型分析菜品种类；通过图片和质量获得相关营养素信息的同时，借助语义分割模型，进一步精确计算营养素含量。

附图说明

图1为方法框架及流程展示图

图2为目标检测模型效果展示图

图3为可学习类间距离分类模型框架图

图4为图3中模型得出的菜谱之间关系图