[发明专利]VR视频的处理方法、装置及电子设备

说明书

本发明提供了一种VR视频的处理方法、装置及电子设备，该方法包括获取待处理VR视频；通过预先训练好的多个图像失真修复模型，分别对该待处理VR视频进行修复处理，得到多个修复后的VR视频；确定每种图像失真类型对该待处理VR视频造成的失真程度；根据该失真程度对上述多个修复后的VR视频进行加权融合，得到处理后的VR视频。本发明实施例通过图像失真修复模型分别对待处理的VR视频进行不同图像失真类型的修复处理，再结合不同图像失真类型对该VR视频的失真贡献的比重，对修复处理得到的视频进行加权融合，得到最终的VR视频，该方式对VR视频的所有画面区域均进行了修复，具有更好的泛化性，且实施成本也更加低廉。

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种VR视频的处理方法、装置及电子设备。

背景技术

随着VR技术的发展，用户对VR设备提供的视频画质的清晰度的要求也越来越高。目前，视频超分辨率技术被用于提升视频或图像的分辨率和画质。但是，由于VR视频本身的畸变较大，以及画面质量分布不均匀等特点，相关技术中的视频超分辨率方法在VR视频场景中仍无法取得较为满意的效果。

发明内容

有鉴于此，本发明的目的在于提供一种VR视频的处理方法、装置及电子设备，可以降低对VR视频进行超分辨率处理的成本，并且超分处理得到的VR视频具有更优的泛化性。

第一方面，本发明实施例提供了一种VR视频的处理方法，包括：获取待处理VR视频；通过预先训练好的多个图像失真修复模型，分别对该待处理VR视频进行修复处理，得到多个修复后的VR视频；其中，每个失真修复模型用于修复该待处理VR视频的一种图像失真类型，且不同的图像失真修复模型对应的图像失真类型不同；确定每种图像失真类型对该待处理VR视频造成的失真程度；根据该失真程度对上述多个修复后的VR视频进行加权融合，得到处理后的VR视频。

在本发明较佳的实施例中，上述多个图像失真修复模型包括：图像去模糊模型和图像去畸变模型；该图像去模糊模型对应的图像失真类型为图像模糊，该图像去模糊模型用于对图像进行去模糊处理，得到清晰度优化的图像；该图像去畸变模型对应的图像失真类型为图像畸变，该图像去畸变模型用于对图像进行去畸变处理，得到清晰度优化的图像。

在本发明较佳的实施例中，上述图像去模糊模型通过下述方式训练得到：获取预设的第一初始VR视频；对该第一初始VR视频的图像帧进行缩放和模糊处理，得到分辨率降低的第一VR视频；以分辨率降低的该第一VR视频和该第一初始VR视频为训练集，训练预设的神经网络，得到图像去模糊模型。

在本发明较佳的实施例中，上述对该第一初始VR视频的图像帧进行缩放和模糊处理，得到分辨率降低的第一VR视频的步骤，包括：按预设第一缩放倍数，对该第一初始VR视频的每一帧图像进行缩放，得到缩放后的VR视频；对缩放后的该VR视频进行高斯模糊处理，得到分辨率降低的第一VR视频。

在本发明较佳的实施例中，上述以分辨率降低的该第一VR视频和该第一初始VR视频为训练集，训练预设的神经网络，得到图像去模糊模型的步骤，包括：以分辨率降低的该第一VR视频为预设神经网络的输入，以该第一初始VR视频为该神经网络的输出，训练该神经网络，直至满足预设的训练终止条件，得到训练好的图像去模糊模型。

在本发明较佳的实施例中，上述图像去畸变模型通过下述方式训练得到：获取预设的第二初始VR视频；对该第二初始VR视频的图像帧进行缩放和畸变处理，得到分辨率降低的第二VR视频；以分辨率降低的该第二VR视频和该第二初始VR视频为训练集，训练预设的神经网络，得到图像去畸变模型。

在本发明较佳的实施例中，上述对该第二初始VR视频的图像帧进行缩放和畸变处理，得到分辨率降低的第二VR视频的步骤，包括：按预设第二缩放倍数，对该第二初始VR视频的每一帧图像进行缩放，得到缩放后的VR视频；对缩放后的该VR视频进行桶形畸变处理，得到分辨率降低的第二VR视频。