[发明专利]一种虚拟视点的生成方法、装置、存储介质及电子设备

权利要求书

1.一种虚拟视点的生成方法，其特征在于，包括：

接收第一视点图像和第二视点图像；

基于虚拟视点生成模型，对所述第一视点图像和所述第二视点图像进行处理，得到虚拟视点图像，其中，虚拟视点为第一视点和第二视点的中间视点；

展示所述虚拟视点图像。

2.根据权利要求1所述的方法，其特征在于，在所述接收第一视点图像和第二视点图像之后，所述方法还包括：

提取所述第一视点图像的第一前景图，以及第二视点图像中的第二前景图；

相应的，基于虚拟视点生成模型，对所述第一视点图像和所述第二视点图像进行处理，得到虚拟视点图像，包括：

基于虚拟视点生成模型，对所述第一前景图和所述第二前景图进行处理，得到虚拟视点图像。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

分别对所述第一前景图和第二前景图进行关键点特征提取，得到第一关键点特征和第二关键点特征；

相应的，所述基于虚拟视点生成模型，对所述第一前景图和所述第二前景图进行处理，得到虚拟视点图像，包括：

基于虚拟视点生成模型，对所述第一前景图、所述第二前景图、所述第一关键点特征和第二关键点特征进行处理，得到虚拟视点图像。

4.根据权利要求2所述的方法，其特征在于，所述虚拟视点图像为前景图；

所述展示所述虚拟视点图像，包括：

对虚拟视点的前景图设置背景，得到所述虚拟视点的目标展示图，展示所述目标展示图。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述虚拟视点生成模型包括至少一个处理模块，所述处理模块中包括特征提取子模块和融合子模块，其中，所述特征提取子模块用于基于输入图像生成第一特征信息、第二特征信息和融合信息，所述融合子模块用于基于所述第一特征信息、所述第二特征信息和所述融合信息中的一项或多项，生成第一图像、第二图像和融合图像，直到最后一个处理模块输出的融合图像作为虚拟视点图像帧。

6.根据权利要求5所述的方法，其特征在于，所述特征提取子模块包括第一网络块、特征融合块和第二网络块，其中，所述第一网络块对输入的第一图像和第二图像进行特征提取，得到中间特征；

所述特征融合块将所述中间特征、所述第一关键点特征和所述第二关键点特征进行特征融合，得到融合特征；

所述第二网络块对所述融合特征进行处理，得到当前处理模块的第一特征信息、所述第二特征信息和所述融合信息。

7.根据权利要求5所述的方法，其特征在于，所述融合子模块用于基于所述第一特征信息和所述处理模块的第一输入图像融合得到第一图像；

基于第二特征信息和所述处理模块的第二输入图像融合得到第二图像，其中，所述第一图像和第二图像作为下一处理模块的输入图像；

基于所述第一图像、所述第二图像和融合信息融合得到融合图像。

8.根据权利要求5所述的方法，其特征在于，所述虚拟视点生成模型的训练过程包括：

分别获取左侧物理视点的第一训练图像、右侧物理视点的第二训练图像和中间物理视点的验证图像；

基于待训练的虚拟视点生成模型对所述第一训练图像和第二训练图像进行处理，得到所述虚拟视点生成模型中各处理模块输出的融合图像；

基于所述验证图像与至少部分的所述融合图像确定损失函数，并基于所述损失函数对所述虚拟视点生成模型进行模型参数调节，迭代执行训练过程，直到满足训练条件，得到训练完成的虚拟视点生成模型。

9.根据权利要求8所述的方法，其特征在于，所述基于所述验证图像和至少部分的所述融合图像确定损失函数，包括：

基于所述验证图像与所述虚拟视点生成模型中各处理模块输出的融合图像分别生成损失项，并基于各损失项确定损失函数。