[发明专利]一种基于图像语义深度学习的餐饮健康分析方法

权利要求书

1.一种基于图像语义深度学习的餐饮健康分析方法，其特征包括以下步骤：

(1)输入一张图片，通过目标检测方法检测出碗等容器的位置，进一步精确菜品所在位置，得出菜品的包围框，去除背景等无关的影响因素。

(1)菜品图像识别：将去除背景的菜品图像作为输入，通过一种可识别菜谱间距离的分类网络，将菜品图像和菜谱映射到同一域，从而得出菜品图像和菜谱之间的距离，进一步得出和图像最接近的五份菜谱。

(2)菜品营养素计算与修正：对菜品图像进行像素级图像语义分割，明确每个像素属于背景或某种菜品原材料，从而进一步修正菜谱，精确营养素含量计算。

2.根据权利要求1所述的一种可识别菜谱间距离的分类方法，其特征在于，所述的方法还包括：

(1)本发明中菜品分类模型由图像编码器和文本编码器两部分构成，分别将图片和菜谱编码为512维的向量，并借助文本编码器学习菜谱之间距离关系；

(2)采用cosine loss作为损失函数，使得图像编码器结果与文本编码器更接近；

(3)将两个编码器所的向量的点积作为图片和菜谱之间的匹配分数，可以提供任意菜谱和菜品图片的匹配分数。

3.根据权利要求1所述的菜品营养素计算方法，其特征在于，所述的方法还包括：

(1)首先，本发明将菜品食材按照颜色分为红、黄、绿、黑、白五类；

(2)然后，采用训练语义分割网络针对菜品图像中每一个像素点进行分类，分类结果为红、黄、绿、黑、白和非菜品六类，返回各类食材之间的像素比例；

(3)根据返回的像素比例关系进一步修正菜谱中原料含量。

4.根据权利要求3所述的菜谱原料修正方法，其其特征在于，所述的方法还包括：

本发明定义标准菜谱，对于标准菜谱中名称R的菜品，将其原料被表述为(ingre_red,ingre_yellow,ingre_green,ingre_black,ingre_white,ingre_other)，它们分别表示对应六类分类结果，这些食材在标准菜谱中对应的质量为m＝(m_red,m_yellow,m_green,m_black,m_white,m_other)，定义R在DIMAX数据集中的第i张图片中各类食材的比例为：

其中表示在R的第i张图片中对应食材所占的像素大小；

进一步计算出在R中各类食材的体积比例V为：

其中n为DIMAX数据集中R的图片的总数；

对于用户输入的R的图片，经过图像语音分割模型得出实际各类食材比例为V′，实际应有质量为m′，则以颜色为c的食材为例：

其中i,c∈{red,yellow,green,black,white}，m′_c即为修正后，颜色为c的食材的质量。