[发明专利]图像转换、深度图预测和模型训练方法、装置及电子设备

说明书

本发明实施例提供了图像转换、深度图预测和模型训练方法、装置及电子设备，可以获取待转换为三维3D图像的二维2D图像；将2D图像作为用于生成3D图像的第一单目视图，输入到预先训练好的深度图预测网络模型；深度图预测网络模型为基于多个不同的3D片源样本对初始深度图预测网络模型和初始相机参数预测网络模型进行训练获得；获取深度图预测网络模型输出的第一预测深度图；基于所述第一预测深度图、2D图像的相机参数、预设的相机成像公式及预设的第一采样方式对所述第一预测深度图进行处理，获得第二单目视图；基于第一单目视图和第二单目视图，生成3D图像。可见，应用本发明实施例，可以实现基于一张2D图像的深度预测将2D图像转换为3D图像。

技术领域

本发明涉及2D图像转换为3D图像的技术领域，特别是涉及图像转换、深度图预测和模型训练方法、装置及电子设备。

背景技术

目前，将2D图像转换成3D图像时可以通过预测深度图的方法，其中，深度图预测网络模型训练的过程通常是：将一个视频源连续的多帧2D图像输入初始深度图预测网络模型中，获得预测的深度图，与真实的深度图求损失函数值，根据损失函数来调整深度图预测网络模型的网络参数，最终获得深度图预测网络模型。再根据训练好的深度图预测网络模型预测的深度图，得到3D图像。这个深度图预测网络模型是用连续的大量的2D图像和各个2D图像真实的深度图，对单一网络模型进行训练获得的。

发明人在实现本发明的过程中发现，现有技术至少存在如下问题：

现有技术进行深度图预测过程中，必须有真实的深度图作指导，才能训练好深度图预测网络模型。

发明内容

本发明实施例的目的在于提供一种图像转换、深度图预测和模型训练方法、装置及电子设备，以实现不用真实的深度图作指导，就能训练好深度图预测网络模型，并实现2D图像转换为3D图像。具体技术方案如下：

第一方面，本发明实施例提供了一种二维2D图像转换为三维3D图像的方法，所述方法包括：

获取待转换为三维3D图像的二维2D图像；

将所述2D图像作为用于生成3D图像的第一单目视图，输入到预先训练好的深度图预测网络模型；所述深度图预测网络模型为基于多个不同的3D片源样本对初始深度图预测网络模型和初始相机参数预测网络模型进行训练获得；所述第一单目视图为左视图或右视图；

获取深度图预测网络模型输出的第一预测深度图；

基于所述第一预测深度图、2D图像的相机参数、预设的相机成像公式及预设的第一采样方式对所述第一预测深度图进行处理，获得第二单目视图；所述第二单目视图为与第一单目视图对应的右视图或左视图；

基于所述第一单目视图和所述第二单目视图，生成3D图像。

可选的，所述深度图预测网络模型的训练过程包括：

获取不同相机拍摄的多个不同的3D片源作为训练样本；其中，每个训练样本包含左视图及对应的右视图；

将预设数量个训练样本中的右视图输入初始深度图预测网络模型，获得初始深度图预测网络模型输出的各个训练样本的第二预测右深度图；

将预设数量个训练样本的左视图和右视图输入初始相机参数预测网络模型，获得初始相机参数预测网络模型输出的各个训练样本的预测相机参数；

基于所述各个训练样本的第二预测右深度图、各个训练样本的预测相机参数、预设的相机成像公式和预设的第二采样方式，对第二预测右深度图进行处理，获得各个训练样本的第二预测右视图；

根据预设的损失函数、所述各个训练样本中真实的右视图及其相对应的第二预测右视图计算损失值；

根据损失值判断初始深度图预测网络模型和初始相机参数预测网络模型是否均收敛至稳定；