[发明专利]图像渲染方法、装置及电子设备

说明书

本公开实施例中提供了一种图像渲染方法、装置及电子设备，属于数据处理技术领域，该方法包括：对获取到的包含目标对象的多个图像进行权重处理，使所述目标对象上的目标元素具有第一权重值；基于所述第一权重值，通过预测模型对所述多个图像中的目标对象进行预测，得到目标对象的预测图；通过每个图像的二维图像信息和所述预测图，构建最小化目标函数，所述最小化目标函数用于训练所述预测模型，使所述预测模型的预测精度达到预设值；利用训练完成后的预测模型，确定与输入信息相匹配目标对象的渲染颜色。通过本公开的处理方案，通过针对目标元素设置权重值，提高了目标对象整体图像色彩渲染的准确性。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种图像渲染方法、装置及电子设备。

背景技术

随着网络技术的发展，人工智能技术在网络场景中的应用得到了极大的提升。作为一个具体的应用需求，越来越多的网络环境中使用虚拟的人物进行交互，例如在网络直播中提供虚拟的主播对直播内容进行拟人化的播报，并为直播用于提供必要的引导，从而增强直播的临场感和交互性，提高了网络直播的效果。

表情模拟(例如，嘴型动作模拟)技术是人工智能技术的一种，目前实现表情模拟主要基于文本驱动、自然语音驱动和音视频混合建模方法来驱动人物的面部表情。例如，文本驱动的方式通常是TTS(Text to Speech，文-语转换)引擎将输入的文本信息转化为对应的音素序列、音素时长以及对应的语音波形，然后在模型库中选择对应的模型单元，通过平滑处理和相应的同步算法最终呈现出和输入文本内容相对应的语音和人脸表情动作。

在进行表情模拟的过程中，需要对展现表情的表情元素(例如，嘴巴)进行色彩渲染，由于表情元素的渲染色彩通常是通过机器学习的方式来获得，会出现部分表情元素预测的色彩值与真实值之间存在色彩偏差的现象，例如，嘴巴的渲染值通常是红色，而预测出的色彩值是黄色。这种现象会影响用户的使用体验。

发明内容

有鉴于此，本公开实施例提供一种图像渲染方法、装置及电子设备，至少部分解决现有技术中存在的问题。

第一方面，本公开实施例提供了一种图像渲染方法，包括：

对获取到的包含目标对象的多个图像进行权重处理，使所述目标对象上的目标元素具有第一权重值；

基于所述第一权重值，通过预测模型对所述多个图像中的目标对象进行预测，得到目标对象的预测图；

通过每个图像的二维图像信息和所述预测图，构建最小化目标函数，所述最小化目标函数用于训练所述预测模型，使所述预测模型的预测精度达到预设值；

利用训练完成后的预测模型，确定与输入信息相匹配目标对象的渲染颜色。

根据本公开实施例的一种具体实现方式，所述对获取到的包含目标对象的多个图像进行权重处理，包括：

收集包含目标对象的多个图像；

判断目标对象上是否包含目标元素；

若是，则为目标元素设置第一权重值，为目标对象上的非目标元素设置第二权重值，所述第一权重值大于第二权重值。

根据本公开实施例的一种具体实现方式，所述通过预测模型对所述多个图像中的目标对象进行预测，得到目标对象的预测图，包括：

采用x、y分别来表示获取到的多个图像及目标元素渲染值，其中，第i个图像上目标元素渲染值用(xi，yi)表示。

根据本公开实施例的一种具体实现方式，所述通过预测模型对所述多个图像中的目标对象进行预测，得到目标对象的预测图，包括：

设置对图像进行分类预测的神经网络模型g，所述神经网络模型g包括卷积层、池化层和采样层；