[发明专利]使用一个或更多个神经网络进行视频合成

权利要求书

1.一种处理器，包括：

一个或更多个电路，用于使用一个或更多个神经网络来至少部分地基于一个或更多个第一图像的一个或更多个点云表示生成一个或更多个第二图像。

2.根据权利要求1所述的处理器，其中所述一个或更多个电路进一步用于至少部分地基于分配给所述一个或更多个第一图像的相应像素的颜色，将颜色分配给所述一个或更多个点云表示或一个或更多个运动向量表示的一个或更多个部分。

3.根据权利要求2所述的处理器，其中所述一个或更多个第一图像和所述一个或更多个第二图像是使用图像编码器网络以及图像生成器网络生成的，所述图像编码器网络用于对所述一个或更多个第一图像的先前生成的图像进行编码，所述图像生成器网络用于至少部分地基于由所述图像编码器网络输出的所述一个或更多个第二图像的向量表示来生成所述一个或更多个第二图像的下一个生成的图像。

4.根据权利要求3所述的处理器，其中所述图像生成器网络包括转换块和放大层的序列，所述转换块用于基于一个或更多个输入来生成图像，并且每个转换块包括转换层序列，所述序列中的至少一个转换层用于接收通过将所述一个或更多个点云表示投影到所述下一个生成的图像的下一个视角上而生成的引导图像作为输入。

5.根据权利要求4所述的处理器，其中所述转换层序列中的至少一个转换层用于接收由标签嵌入网络生成的一个或更多个样式嵌入作为输入，所述标签嵌入网络接收级联的语义数据作为输入，所述语义数据包括从一个或更多个输入图像确定的分段数据、深度数据、姿态数据或边缘数据中的至少一个。

6.根据权利要求4所述的处理器，其中所述转换块的所述转换层序列中的至少一个转换层用于接收由流嵌入网络生成的一个或更多个流嵌入作为输入，所述流嵌入网络接收光流数据和所述一个或更多个第一图像的先前生成的图像作为输入。

7.一种系统，包括：

一个或更多个处理器，用于使用一个或更多个神经网络来至少部分地基于一个或更多个第一图像的一个或更多个点云表示生成一个或更多个第二图像。

8.根据权利要求7所述的系统，其中所述一个或更多个处理器进一步用于至少部分地基于分配给所述一个或更多个第一图像的相应像素的一个或更多个颜色，将一个或更多个颜色分配给所述一个或更多个点云表示的一个或更多个部分。

9.根据权利要求8所述的系统，其中所述一个或更多个第一图像和所述一个或更多个第二图像是使用图像编码器网络以及图像生成器网络生成的，所述图像编码器网络用于对所述一个或更多个第一图像的先前生成的图像进行编码，所述图像生成器网络用于至少部分地基于由所述图像编码器网络输出的所述一个或更多个第二图像的向量表示来生成所述一个或更多个第二图像的下一个生成的图像。

10.根据权利要求9所述的系统，其中所述图像生成器网络包括转换块和放大层的序列，所述转换块用于基于一个或更多个输入来生成图像，并且每个转换块包括转换层序列，所述序列中的至少一个转换层用于接收通过将所述一个或更多个点云表示投影到所述下一个生成的图像的下一个视角上而生成的引导图像作为输入。

11.根据权利要求10所述的系统，其中所述转换层序列中的至少一个转换层用于接收由标签嵌入网络生成的一个或更多个样式嵌入作为输入，所述标签嵌入网络接收级联的语义数据作为输入，所述语义数据包括从一个或更多个输入图像确定的分段数据、深度数据、姿态数据或边缘数据中的至少一个。

12.根据权利要求10所述的系统，其中所述转换块的所述转换层序列中的至少一个转换层用于接收由流嵌入网络生成的一个或更多个流嵌入作为输入，所述流嵌入网络接收光流数据和所述一个或更多个第一图像的先前生成的图像作为输入。