[发明专利]使用神经网络进行逼真的图像透视变换

说明书

本公开提供了“使用神经网络进行逼真的图像透视变换”。本公开公开了一种系统和一种方法。在示例性实现方式中，所述系统和所述方法可以包括：接收具有第一视角的图像；经由深度神经网络生成与具有所述第一视角的所述图像对应的深度图；经由所述深度神经网络，基于所述深度图生成点云表示；将所述点云表示投影到与具有第二视角的图像对应的点云表示上；生成与具有所述第二视角的所述图像对应的深度图；以及基于与具有所述第二视角的所述图像对应的所述深度图和与具有所述第一视角的所述图像对应的语义分割图来生成具有所述第二视角的合成图像，其中所述第二视角与所述第一视角不同。

技术领域

本公开总体上涉及深度神经网络。

背景技术

深度神经网络(DNN)可以用于执行许多图像理解任务，包括分类、分割和生成字幕。通常，DNN需要大量的训练图像(数万至数百万)。另外，为了训练和预测的目的，通常需要对这些训练图像进行注解。

发明内容

一种系统可以包括计算机，所述计算机包括处理器和存储器。所述存储器包括指令，使得所述处理器被编程为接收具有第一视角的图像；经由深度神经网络生成与具有所述第一视角的所述图像对应的深度图；经由所述深度神经网络，基于所述深度图生成点云表示；将所述点云表示投影到与具有第二视角的图像对应的点云表示上；生成与具有所述第二视角的所述图像对应的深度图；并且基于与具有所述第二视角的所述图像对应的所述深度图和与具有所述第一视角的所述图像对应的语义分割图来生成具有所述第二视角的合成图像，其中所述第二视角与所述第一视角不同。

在其他特征中，所述处理器还被编程为基于相机位姿变换矩阵来生成与具有所述第二视角的所述图像对应的所述点云表示。

在其他特征中，所述相机位姿变换矩阵包括旋转矩阵和平移矩阵。

在其他特征中，根据计算与具有所述第二视角的所述图像对应的所述点云表示，其中包括与具有所述第二视角的所述图像对应的所述点云表示的点云坐标，R^-1是所述旋转矩阵的逆矩阵，包括与具有所述第一视角的所述图像对应的所述点云表示的点云坐标，并且[T]包括所述平移矩阵。

在其他特征中，所述深度神经网络包括编码器-解码器架构。

在其他特征中，所述深度神经网络包括条件式生成对抗网络。

在其他特征中，具有所述第一视角的所述图像由车辆相机传感器捕获。

在其他特征中，具有所述第一视角的所述图像包括红-蓝-绿(RGB)图像。

在其他特征中，所述处理器还被编程为基于具有所述第二视角的所述合成图像来操作车辆。

在其他特征中，所述深度神经网络包括鉴别器，所述鉴别器生成指示具有所述第二视角的合成图像是机器生成的还是源自真实数据分布的预测。

一种方法包括：接收具有第一视角的图像；经由深度神经网络生成与具有所述第一视角的所述图像对应的深度图；经由所述深度神经网络，基于所述深度图生成点云表示；将所述点云表示投影到与具有第二视角的图像对应的点云表示上；生成与具有所述第二视角的所述图像对应的深度图；以及基于与具有所述第二视角的所述图像对应的所述深度图和与具有所述第一视角的所述图像对应的语义分割图来生成具有所述第二视角的合成图像，其中所述第二视角与所述第一视角不同。

在其他特征中，所述方法还包括基于相机位姿变换矩阵来生成与具有所述第二视角的所述图像对应的所述点云表示。

在其他特征中，所述相机位姿变换矩阵包括旋转矩阵和平移矩阵。

在其他特征中，根据计算与具有所述第二视角的所述图像对应的所述点云表示，其中包括与具有所述第二视角的所述图像对应的所述点云表示的点云坐标，R^-1是所述旋转矩阵的逆矩阵，包括与具有所述第一视角的所述图像对应的所述点云表示的点云坐标，并且[T]包括所述平移矩阵。