[发明专利]一种2D视频转3D视频的方法、装置、设备及介质

说明书

本发明实施例提供了一种2D视频转3D视频的方法、装置、电子设备及存储介质，涉及人工智能技术领域，包括获得待进行3D转换的2D视频片段，所述2D视频片段包含多帧第一单目视图，所述第一单目视图为左目视图或右目视图；将各个第一单目视图输入到预先训练完成的视差图预测模型中，通过所述视差图预测模型预测各个第一单目视图对应的视差图；利用各个视差图对各个第一单目视图进行视图转换处理，得到各个第二单目视图，所述第二单目视图为所述第一单目视图的另一侧视图；通过预设图像处理方式对各个第一单目视图及第二单目视图进行处理，得到所述2D视频片段对应的3D视频片段。应用本发明实施例提供的方案，可以提高转换后的3D视频的质量。

技术领域

本发明涉及人工智能技术领域，特别是涉及一种2D视频转3D视频的方法、装置、电子设备及存储介质。

背景技术

在观看视频时，为了提高视觉感官体验，可以将视频中的2D图像转化为3D图像，其中3D图像通常由2D的左目视图和2D的右目视图通过预设图像处理方式形成。为了将2D图像转化为3D图像，需要首先计算2D图像对应的视差图，然后利用上述视差图对上述2D图像进行视图转换处理，得到上述2D图像对应的另一侧视图，再对上述2D图像和另一侧视图进行处理，得到3D图像。

现有技术中，通常会独立计算视频中每一帧图像的视差图，进而独立获得每一帧图像对应的另一侧视图，最终得到每一帧图像对应的3D图像。这样由于转换后的3D视频中每一帧3D图像是独立计算得到的，可能导致转换后的3D视频存在抖动，导致转换后的3D视频的质量较低。

发明内容

本发明实施例的目的在于提供一种2D视频转3D视频的方法、装置、电子设备及存储介质，以提高转换后的3D视频的质量。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种2D视频转3D视频的方法，所述方法包括：

获得待进行3D转换的2D视频片段，其中，所述2D视频片段包含多帧第一单目视图，所述第一单目视图为左目视图或右目视图；

将各个第一单目视图输入到预先训练完成的视差图预测模型中，通过所述视差图预测模型预测各个第一单目视图对应的视差图；

利用各个视差图对各个第一单目视图进行视图转换处理，得到各个第二单目视图，其中，所述第二单目视图为所述第一单目视图的另一侧视图；

通过预设图像处理方式对各个第一单目视图及第二单目视图进行处理，得到所述2D视频片段对应的3D视频片段。

本发明的一个实施例中，所述视差图预测模型通过以下方法训练得到：

获得用于进行模型训练的2D样本视频片段，其中，所述2D样本视频片段包含多帧第一样本图像，所述第一样本图像为左目视图或右目视图；

按照预设的视差图计算算法计算各个第一样本图像对应的视差图，作为视差标注图；

将各个第一样本图像分别输入待训练的视差图预测模型，利用所述视差图预测模型预测输入的各个第一样本图像对应的视差图，得到视差预测图；

按照预设的损失计算方式，计算各个第一样本图像的视差预测图相对视差标注图的第一目标损失，其中，所述损失计算方式基于线性变化原则得到，所述线性变化原则为：视频片段中每一帧图像对应的视差图之间，不同图像位置的视差值满足相同的线性变化规律；

基于所述第一目标损失对所述视差图预测模型进行参数调整，实现对所述视差图预测模型的训练。

本发明的一个实施例中，所述按照预设的视差图计算算法计算各个第一样本图像对应的视差图，作为视差标注图，包括：

分别利用不同的视差图计算算法计算各个第一样本图像的视差图，得到每一第一样本图像的多个视差图，作为多个候选视差图；