[发明专利]图像生成方法、训练方法、装置、电子设备以及存储介质

权利要求书

1.一种图像生成方法，包括：

根据预设视角射线中的采样点，以及与所述预设视角射线对应的预设视角方向，确定与目标对象相关的对象表面特征，所述预设视角射线为基于预设位置沿着所述预设视角方向辐射的射线，所述预设视角方向为从所述预设位置朝向所述目标对象的方向；

根据与所述目标对象相关的描述文本，以及所述对象表面特征，生成表征所述目标对象的目标图像。

2.根据权利要求1所述的方法，其中，所述对象表面特征包括对象颜色特征；

其中，所述根据预设视角射线中的采样点，以及与所述预设视角射线对应的预设视角方向确定与目标对象相关的对象表面特征包括：

基于神经辐射场算法处理所述采样点和所述预设视角方向，得到与所述目标对象相关的所述对象颜色特征。

3.根据权利要求2所述的方法，其中，所述对象表面特征还包括对象反射属性特征；

其中，所述根据预设视角射线中的采样点，以及与所述预设视角射线对应的预设视角方向确定与目标对象相关的对象表面特征还包括：

根据反射分布函数模型处理所述采样点和所述预设视角方向，得到与所述目标对象相关的所述对象反射属性特征。

4.根据权利要求1所述的方法，其中，所述根据与所述目标对象相关的描述文本，以及所述对象表面特征，生成表征所述目标对象的目标图像包括：

对所述描述文本进行编码，得到描述文本特征；

融合所述描述文本特征和所述对象表面特征，得到目标融合特征；以及

根据所述目标融合特征，生成所述目标图像。

5.根据权利要求4所述的方法，其中，所述融合所述描述文本特征和所述对象表面特征，得到目标融合特征包括：

对第n-1级融合特征进行至少一次卷积，得到第n-1级中间融合特征，其中，N≥n＞1，n为整数；

基于注意力网络算法融合第n-1级所述中间融合特征和所述描述文本特征，得到第n级所述融合特征；以及

在n等于N的情况下，将第N级所述融合特征确定为所述目标融合特征；

其中，第1级所述融合特征是基于所述注意力网络算法，融合所述描述文本特征和所述对象表面特征后得到的。

6.根据权利要求1所述的方法，其中，每个所述预设视角射线中包含有多个采样点，且每个所述预设视角射线中相邻的所述采样点之间的采样点相邻距离相等。

7.一种深度学习模型的训练方法，包括：

获取训练样本，所述训练样本包括样本数据和样本标签，所述样本数据包括样本预设视角射线中的样本采样点、与所述样本预设视角射线对应的样本预设视角方向和与样本目标对象相关的样本描述文本，所述样本预设视角射线为基于样本预设位置沿着所述样本预设视角方向辐射的射线，所述样本预设视角方向为从所述样本预设位置朝向所述样本目标对象的方向，所述样本标签包括与所述样本预设视角方向对应的标签图像，所述标签图像与所述样本目标对象相关；

将所述样本采样点和所述样本预设视角方向输入至深度学习模型的对象表面特征检测网络，输出与所述样本目标对象相关的样本初始对象表面特征；

将所述样本描述文本和所述初始对象表面特征输入至所述深度学习模型的图像生成网络，输出样本图像；以及

根据所述样本图像和所述标签图像训练所述深度学习模型，得到训练后的深度学习模型。

8.根据权利要求7所述的方法，其中，所述深度学习模型还包括三维图像生成网络，所述样本标签还包括与所述样本目标对象相关的标签三维图像；

所述训练方法还包括：

将所述样本初始对象表面特征输入至所述三维图像生成网络，输出样本三维图像。