[发明专利]一种2D视频转3D视频的方法、装置、设备及介质

权利要求书

1.一种2D视频转3D视频的方法，其特征在于，所述方法包括：

获得待进行3D转换的2D视频片段，其中，所述2D视频片段包含多帧第一单目视图，所述第一单目视图为左目视图或右目视图；

将各个第一单目视图输入到预先训练完成的视差图预测模型中，通过所述视差图预测模型预测各个第一单目视图对应的视差图；

利用各个视差图对各个第一单目视图进行视图转换处理，得到各个第二单目视图，其中，所述第二单目视图为所述第一单目视图的另一侧视图；

通过预设图像处理方式对各个第一单目视图及第二单目视图进行处理，得到所述2D视频片段对应的3D视频片段；

所述视差图预测模型通过以下方法训练得到：

获得用于进行模型训练的2D样本视频片段，其中，所述2D样本视频片段包含多帧第一样本图像，所述第一样本图像为左目视图或右目视图；

按照预设的视差图计算算法计算各个第一样本图像对应的视差图，作为视差标注图；

将各个第一样本图像分别输入待训练的视差图预测模型，利用所述视差图预测模型预测输入的各个第一样本图像对应的视差图，得到视差预测图；

按照预设的损失计算方式，计算各个第一样本图像的视差预测图相对视差标注图的第一目标损失，其中，所述损失计算方式基于线性变化原则得到，所述线性变化原则为：视频片段中每一帧图像对应的视差图之间，不同图像位置的视差值满足相同的线性变化规律；

基于所述第一目标损失对所述视差图预测模型进行参数调整，实现对所述视差图预测模型的训练。

2.根据权利要求1所述的方法，其特征在于，所述按照预设的视差图计算算法计算各个第一样本图像对应的视差图，作为视差标注图，包括：

分别利用不同的视差图计算算法计算各个第一样本图像的视差图，得到每一第一样本图像的多个视差图，作为多个候选视差图；

针对每一第一样本图像的多个候选视差图中的每一图像位置，在该第一样本图像不同的候选视差图中该图像位置的视差值之间的差异满足预设的差异条件的情况下，确定该图像位置为有效位置，并基于该第一样本图像不同的候选视差图中各个有效位置处的视差值，预测该第一样本图像的视差标注图中各个有效位置处的视差值，得到该第一样本图像的视差标注图。

3.根据权利要求2所述的方法，其特征在于，所述针对每一第一样本图像的多个候选视差图中的每一图像位置，在该第一样本图像不同的候选视差图中该图像位置的视差值之间的差异满足预设的差异条件的情况下，确定该图像位置为有效位置，包括：

针对每一第一样本图像的多个候选视差图中的每一图像位置，计算该第一样本图像不同的候选视差图中该图像位置的视差值之间的差值，判断所计算的差值中的最大差值是否小于等于预设的差值阈值，若为是，判断该图像位置为有效位置。

4.根据权利要求2所述的方法，其特征在于，所述按照预设的损失计算方式，计算各个第一样本图像的视差预测图相对视差标注图的第一目标损失，包括：

利用以下公式计算各个第一样本图像的视差预测图相对视差标注图的第一目标损失L(d，d^*)：

其中，所述M表示所述视差预测图的像素点数量，所述valid_mask表示所述有效位置的数量，所述N表示所述第一样本图像的数量，所述d_i表示所述视差预测图中第i个像素点的像素值，所述表示所述视差标注图中第i个像素点的像素值，所述s表示视差线性变化规律中的尺度参数，所述t表示视差线性变化规律中的平移参数，所述h表示每一帧第一样本图像对应的s、t的表达式，所述h^opt表示每一帧第一样本图像对应的s、t的最优解求取函数，所述hz^opt表示对所有第一样本图像对应的s、t的求取函数，所述f表示所述2D样本视频片段中的一帧第一样本图像，所述s_f表示基于第f帧第一样本图像计算得到的尺度参数，所述t_f表示基于第f帧第一样本图像计算得到的平移参数，所述表示第f帧第一样本图像对应的视差预测图中第i个像素点的像素值，所述表示第f帧第一样本图像对应的视差标注图中第i个像素点的像素值。