[发明专利]摆盘图像的生成方法、图像生成模型的训练方法及装置

权利要求书

1.一种摆盘图像的生成方法，其特征在于，所述方法包括：

获取目标餐品的原始图像；

对所述原始图像进行图像识别处理，得到所述目标餐品的图像特征信息；在知识图谱中搜索与所述图像特征信息之间的匹配度大于阈值的匹配餐品信息；基于所述匹配餐品信息，确定所述目标餐品在所述知识图谱中的餐品名称；将与所述目标餐品在所述知识图谱中的餐品名称关联的信息，确定为所述目标餐品的扩展特征信息；将所述图像特征信息与所述扩展特征信息中，相同或相似的信息进行去重处理，得到餐品信息，所述餐品信息用于指示所述目标餐品的相关特征；

获取所述餐品信息对应的文本特征向量；

通过图像生成模型将所述原始图像变换为图像特征向量；

将所述图像特征向量与所述文本特征向量进行融合，得到融合特征向量；

对所述融合特征向量进行编解码处理，生成所述目标餐品的摆盘图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述知识图谱中未搜索到所述匹配餐品信息的情况下，将所述图像特征信息添加到所述知识图谱中。

3.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行图像识别处理，得到所述目标餐品的图像特征信息，包括：

对所述原始图像进行预处理，得到预处理后的原始图像；其中，所述预处理包括裁剪处理和/或去噪处理；

对所述预处理后的原始图像进行食材识别处理，得到所述预处理后的原始图像中包含的食材信息；

对所述预处理后的原始图像进行名称识别处理，得到所述目标餐品的餐品名称；

其中，所述目标餐品的图像特征信息包括所述餐品名称和所述食材信息。

4.根据权利要求1所述的方法，其特征在于，所述获取所述餐品信息对应的文本特征向量，包括：

基于知识图谱获取嵌入词表；

从所述嵌入词表中查询得到所述餐品信息对应的所述文本特征向量。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述目标餐品的摆盘图像，用于指示所述目标餐品的预测摆盘方案；

所述预测摆盘方案包括以下至少一项：所述目标餐品的食材预测摆放方案、所述目标餐品的餐具搭配预测方案、所述目标餐品的装饰物搭配预测方案。

6.一种图像生成模型的训练方法，其特征在于，所述方法包括：

获取样本餐品图像以及所述样本餐品图像对应的餐品信息，所述餐品信息用于指示所述样本餐品图像中包含的样本餐品的相关特征；

获取所述样本餐品的参考摆盘图像；

对于所述样本餐品图像，采用图像生成模型，将所述样本餐品图像变换为图像特征向量；

将所述图像特征向量，与所述样本餐品图像对应的文本特征向量融合，得到融合后的特征向量；

将所述融合后的特征向量进行反变换，生成预测摆盘图像；

采用判别模型对所述预测摆盘图像进行判别，确定第一子损失，所述判别模型用于判别输入的摆盘图像为预测摆盘图像还是参考摆盘图像，所述第一子损失用于指示所述预测摆盘图像对所述判别模型的判别能力的干扰程度；

基于所述预测摆盘图像以及所述参考摆盘图像，确定第二子损失，所述第二子损失用于指示所述预测摆盘图像，与所述参考摆盘图像在色彩和像素上的相似程度；

基于所述预测摆盘图像以及所述参考摆盘图像，确定第三子损失，所述第三子损失用于指示所述预测摆盘图像的图像轮廓，与所述参考摆盘图像的图像轮廓之间的相似程度；

基于所述预测摆盘图像以及所述参考摆盘图像，确定第四子损失，所述第四子损失用于指示所述预测摆盘图像，与对应的参考摆盘图像在图像风格上的相似程度；

基于所述第一子损失、所述第二子损失、所述第三子损失和所述第四子损失，确定所述图像生成模型的损失；

基于所述图像生成模型的损失，调整所述图像生成模型的参数。