[发明专利]视频帧的处理方法、装置、设备以及存储介质

说明书

本发明实施例提供一种视频帧的处理方法、装置、设备以及存储介质，该方法包括：获取待处理的视频帧，将待处理的视频帧的输入视频帧预测模型，得到待处理的视频帧的深度和视频帧的语义信息，其中，视频帧预测模型为基于深度神经网络训练的同时获取当前视频帧的深度和当前视频帧的语义信息的模型。本发明实施例提供的视频帧的处理方法，通过结合语义信息来预测视频帧的深度，提高了视频帧深度预测的准确度。

技术领域

本发明实施例涉及视频图像处理领域，尤其涉及一种视频帧的处理方法、装置、设备以及存储介质。

背景技术

立体视频相对于平面视频，视觉冲击力强、艺术欣赏价值高，能够提供给用户更好的视觉体验。因此，利用计算机视觉等技术将现有的平面视频转换为立体视频具有非常重要的应用价值。

其中，将平面视频转化为立体视频关键在于提取平面视频中每帧的深度信息，相关技术中，提供一种基于深度神经网络，无监督(即没有深度真值的约束)方法来学习视频帧的深度，然而，采用上述方法预测出的视频帧深度准确度不高。

发明内容

本发明实施例提供一种视频帧的处理方法、装置、设备以及存储介质，用于解决上述方案中对于视频帧深度的预测准确度不高的问题。

第一方面，本发明实施例提供一种视频帧的处理方法，包括：

获取待处理的视频帧；

将所述待处理的视频帧的输入视频帧预测模型，得到所述待处理的视频帧的深度和所述视频帧的语义信息；

其中，所述视频帧预测模型为基于深度神经网络训练的同时获取当前视频帧的深度和所述当前视频帧的语义信息的模型。

可选的，所述视频帧预测模型是按照如下方法训练得到的：

采集多个视频帧样本，并获取每个视频帧样本的深度真值和每个视频帧样本的真实语义信息；

根据所述多个视频帧样本、每个视频帧样本的深度真值和每个视频帧样本对应的真实语义信息，采用深度神经网络训练得到所述视频帧预测模型。

可选的，所述获取每个视频帧样本的深度真值，包括：

通过激光雷达采集每个视频帧样本的深度真值。

可选的，所述根据所述多个视频帧样本、每个视频帧样本的深度真值和每个视频帧样本的真实语义信息，采用深度神经网络训练得到所述视频帧预测模型，包括：

采用深度神经网络初始化得到初始模型；

将每个视频帧样本输入到所述初始模型，得到所述初始模型输出的深度和语义信息；

根据每个视频帧样本的深度真值和模型预测的深度，获取深度误差；

根据每个视频帧样本的真实语义信息和模型预测的语义信息，获取语义信息的误差；

根据所述深度误差、所述语义信息的误差对所述初始模型进行更新，得到所述视频帧预测模型。

可选的，根据所述深度误差、所述语义信息的误差对所述初始模型进行更新，得到所述视频帧预测模型，包括：

根据模型预测的深度，获取每个视频帧样本对应的三维点云；

根据所述三维点云和每个视频帧样本对应的真实的语义信息，得到平面区域的三维点云；

根据所述平面区域的三维点云在平面法向量上的投影，获取投影分布的方差；

根据所述深度误差、所述投影分布的方差以及所述语义信息的误差对所述初始模型进行更新，得到所述视频帧预测模型。