[发明专利]图像转换、深度图预测和模型训练方法、装置及电子设备

权利要求书

1.一种二维2D图像转换为三维3D图像的方法，其特征在于，所述方法包括：

获取待转换为三维3D图像的二维2D图像；

将所述2D图像作为用于生成3D图像的第一单目视图，输入到预先训练好的深度图预测网络模型；所述深度图预测网络模型为基于多个不同的3D片源样本对初始深度图预测网络模型和初始相机参数预测网络模型进行训练获得；所述第一单目视图为左视图或右视图；

获取所述深度图预测网络模型输出的第一预测深度图；

基于所述第一预测深度图、2D图像的相机参数、预设的相机成像公式及预设的第一采样方式对所述第一预测深度图进行处理，获得第二单目视图；所述第二单目视图为与第一单目视图对应的右视图或左视图；

基于所述第一单目视图和所述第二单目视图，生成3D图像。

2.根据权利要求1所述的方法，其特征在于，所述深度图预测网络模型的训练过程包括：

获取不同相机拍摄的多个不同的3D片源作为训练样本；其中，每个训练样本包含左视图及对应的右视图；

将预设数量个训练样本中的右视图输入初始深度图预测网络模型，获得初始深度图预测网络模型输出的各个训练样本的第二预测右深度图；

将预设数量个训练样本的左视图和右视图输入初始相机参数预测网络模型，获得初始相机参数预测网络模型输出的各个训练样本的预测相机参数；

基于所述各个训练样本的第二预测右深度图、各个训练样本的预测相机参数、预设的相机成像公式和预设的第二采样方式，对第二预测右深度图进行处理，获得各个训练样本的第二预测右视图；

根据预设的损失函数、所述各个训练样本中真实的右视图及其相对应的第二预测右视图计算损失值；

根据损失值判断初始深度图预测网络模型和初始相机参数预测网络模型是否均收敛至稳定；

如果收敛至稳定，则将训练次数的数量增加一次，并判断是否达到预设的训练次数；如果没达到预设的训练次数，则返回所述将预设数量个训练样本中的右视图输入初始深度图预测网络模型，获得初始深度图预测网络模型输出的各个训练样本的第二预测右深度图的步骤；如果达到预设的训练次数，则当前的初始深度图预测网络模型为训练完成的深度图预测网络模型；

如果未收敛至稳定，则将训练次数的数量增加一次，并调整所述当前的初始深度图预测网络模型和初始相机参数预测网络模型的网络参数，返回所述将预设数量个训练样本中的右视图输入待训练的深度图预测网络模型，获得初始深度图预测网络模型输出的各个训练样本的第二预测右深度图的步骤。

3.根据权利要求2所述的方法，其特征在于，

所述预测相机参数包括：预测相机内参数和预测旋转平移参数；

所述预设的相机成像公式为：

其中，～为映射运算；

Ps为双目图像相关点在左视图中的坐标，Pt为双目图像相关点在右视图中的坐标，K为相机内参数矩阵，K^-1为相机内参数矩阵的逆矩阵，Dt(Pt)为Pt这一点的深度，T_t→s为旋转平移矩阵；所述相机内参数矩阵包含(fx,fy,x0,y0)4个参数，其中fx和fy为相机焦距，x0和y0为主点坐标；

所述基于所述各个训练样本的第二预测右深度图、各个训练样本的预测相机参数、预设的相机成像公式和预设的第二采样方式，对第二预测右深度图进行处理，获得各个训练样本的第二预测右视图的步骤，包括：

将第二预测右深度图、预测相机内参数和预测旋转平移参数带入所述预设的相机成像公式中，获得右视图在左视图中的第二预测映射坐标；

按照右视图在左视图中的第二预测映射坐标，对左视图进行采样，获得第二预测右视图。