[发明专利]具有流估计和图像超分辨率的多相机阵列图像的视图插补

权利要求书

1.一种用于实现卷积神经网络CNN的系统，包括：

存储器，其存储第一图像和第二图像，其中所述第一图像和所述第二图像包括场景的不同视图并且具有第一分辨率；以及

与所述存储器耦合的处理器，该处理器：

对所述第一图像和所述第二图像进行缩减以提供第一缩减图像和第二缩减图像；

至少部分地基于将第一卷积神经网络应用到第一输入体积来生成至少一个视差图，所述第一输入体积包括所述第一缩减图像和所述第二缩减图像，其中所述视差图包括视差值来平移所述第一缩减图像和所述第二缩减图像；

至少部分地基于所述视差图来确定第一平移缩减图像和第二平移缩减图像；

将第二卷积神经网络应用到第二输入体积以生成缩减的中间图像，所述第二输入体积包括所述第一平移缩减图像和所述第二平移缩减图像以及所述视差图，所述缩减的中间图像包括所述第一平移缩减图像和所述第二平移缩减图像之间的视图；

至少部分地基于将图像超分辨率卷积神经网络应用到所述缩减的中间图像来生成具有所述第一分辨率的中间图像；并且

提供所述中间图像来呈现给观看者。

2.如权利要求1所述的系统，其中，所述第一卷积神经网络包括第一编码器-解码器卷积神经网络，并且其中所述处理器生成所述至少一个视差图包括所述处理器：

将所述第一编码器-解码器卷积神经网络应用到所述第一输入体积以生成第一视差图和第二视差图；

利用所述第一视差图和所述第二视差图来平移所述第一缩减图像和所述第二缩减图像以生成第三平移缩减图像和第四平移缩减图像；并且

将第二编码器-解码器卷积神经网络应用到第三输入体积以生成所述至少一个视差图，所述第三输入体积包括所述第三平移缩减图像和所述第四平移缩减图像。

3.如权利要求2所述的系统，其中，所述第一编码器-解码器卷积神经网络和第所述二编码器-解码器卷积神经网络具有相同的体系结构并且实现相同的神经网络权重。

4.如权利要求3所述的系统，其中，所述第一编码器-解码器卷积神经网络和所述第二编码器-解码器卷积神经网络各自包括编码器部分和解码器部分，其中，所述编码器部分具有编码器层来以不同的分辨率从所述第一输入体积和所述第三输入体积提取特征，并且所述解码器部分利用与所述编码器层分别对应的跳过连接来组合所提取的特征以估计光流。

5.如权利要求1所述的系统，其中，所述第一卷积神经网络包括编码器-解码器卷积神经网络，所述处理器生成所述至少一个视差图包括所述处理器：将所述编码器-解码器卷积神经网络应用到所述第一输入体积以生成第一视差图和第二视差图，并且所述编码器-解码器卷积神经网络包括编码器部分和解码器部分，其中，所述编码器部分具有编码器层来以不同的分辨率从所述第一输入体积提取特征，并且所述解码器部分利用与所述编码器层分别对应的跳过连接来组合所提取的特征以估计光流。

6.如权利要求1到5中任一项所述的系统，其中，所述第二卷积神经网络包括体积卷积神经网络。

7.如权利要求1到6中任一项所述的系统，其中，所述处理器应用所述图像超分辨率卷积神经网络包括所述处理器：

向所述缩减的中间图像应用多个相邻卷积层和跟随在所述多个相邻卷积层之后的解卷积层以生成特征图像，所述特征图像具有比所述缩减的中间图像的第三分辨率大的第二分辨率；

对所述缩减的中间图像进行上采样以生成具有所述第二分辨率的第二中间图像；并且

组合所述特征图像和所述第二中间图像以生成上采样的中间图像。

8.如权利要求7所述的系统，其中，所述多个相邻卷积层被分离成块，其中每个块包括预定数目的卷积层并且每个块实现相同的神经网络权重，并且其中在卷积层的每个块之间提供残余连接，所述残余连接组合每个块的输入和输出。