[发明专利]一种切片食材智能化识别方法和装置

权利要求书

1.一种切片食材智能化识别方法和装置，其特征在于：

通过安装在智能冰箱或装置中的可移动摄像头，获取智能冰箱或装置中的切片食材图像；

建立用于智能识别切片食材类型、食材状态和食材数量的卷积神经网络，并采用提前获取的图像对所述卷积神经网络进行预训练；

采用预训练好的卷积神经网络对实时获取的食材图像进行智能识别，获取切片食材的种类、状态(新鲜程度)以及数量；

针对新加入的或者无法识别正确的食材，可以通过人工反馈，自动调整神经网络参数，不断提升装置的识别精度；

根据一段时间内识别出的食材数量、食材种类和食材状态，给出最佳的个性化食材搭配方案、食材数量预警和食材新鲜度警示，同时可以对智能冰箱或装置进行温度、湿度控制。

2.根据权利要求1所述的可移动摄像头，其特征在于，摄像头可以从不同的角度对食材进行拍摄，获取食材更多角度的图像。

3.根据权利要求1所述的建立智能识别食材的卷积神经网络，其特征在于，所述步骤具体为：

S1，采集智能冰箱或装置中的多种食材切片不同角度、不同状态的图像样本；

S2，构建卷积神经网络，所述卷积神经网络包括候选框网络、分类网络和回归网络，分别用于预测食材的数量、种类和状态；

S3，形成多个输入文件，每个输入文件包括多种食材图像样本，以及对应的类别和状态量化分数，首次训练还包含候选框网络、分类网络和回归网络的初始化参数；

S4，在GPU服务器平台启动并行训练任务，通过获取所述输入文件，训练并输出所述食材图像样本上的至少一个目标候选区域，目标类别，状态量化分数；

S5，根据上一步获取的至少一个所述目标候选区域，目标类别，状态量化分数，结合输入的多个文件，包括食材类别和状态量化分数，采用反向传播算法对所述候选框网络、分类网络和回归网络进行一次训练，以优化所述网络的参数；

S6重复步骤S3～S5，直到所述卷积神经网络的预设损失函数的函数值达到预设值。

4.根据权利要求3所述的食材图像的智能化识别方法，其特征在于，所述步骤S2中，构建卷积神经网络，所述卷积神经网络包括候选框网络、分类网络和回归网络：

所构建的卷积神经网络，包含一个输入和三个输出，其中候选框网络、分类网络和回归网络，共享卷积层。候选框网络主要用于识别食材图像中的食材位置，采用候选框的方式标注出来；分类网络主要用于识别出图像中的食材种类；回归网络主要用于预测食材的状态分数，以评价食材的新鲜程度。

5.一种切片食材智能化识别装置，其特征在于，包括图像获取模块、模型训练模块、识别模块和反馈模块，

所述图像获取模块用于获取智能冰箱或装置中的食材图像，主要通过可移动摄像头进行图像采集；

所述模型训练模块用于建立智能识别切片食材类型、食材状态和食材数量的卷积神经网络，并采用提前获取的图像对所述卷积神经网络进行预训练；

所述识别模块用于对所述食材图像进行智能识别，采用预训练好的卷积神经网络，获取切片食材的种类、状态(新鲜程度)以及数量；

所述反馈模块用于针对新加入的或者无法识别正确的食材，可以通过人工反馈，不断提升装置的识别精度。

6.一种切片食材智能化识别装置，其特征在于，装置在初次安装使用时，其图像获取模块已经预先安装，模型训练模块已经预训练完成，后续根据实际情况，用户可自行或后台升级，以提升识别精度和广度。其中，模型训练模块，通过采用预先标注的食材图像数据集，在GPU服务器平台进行并行训练，得到了训练完成的初始化神经网络。