[发明专利]视频帧的处理方法、装置、设备以及存储介质

权利要求书

1.一种视频帧的处理方法，其特征在于，包括：

获取待处理的视频帧；

将所述待处理的视频帧输入视频帧预测模型，得到所述待处理的视频帧的深度和所述待处理的视频帧的语义信息；

其中，所述视频帧预测模型为基于深度神经网络训练的同时获取当前视频帧的深度和所述当前视频帧的语义信息的模型；

所述视频帧预测模型为根据深度误差、投影分布的方差以及语义信息的误差对初始模型进行更新得到的，所述投影分布的方差为根据平面区域的三维点云在平面法向量上的投影获取的，所述平面区域的三维点云为根据每个视频帧样本对应的三维点云和所述每个视频帧样本对应的真实语义信息得到的，所述每个视频帧样本对应的三维点云为基于所述初始模型预测的深度获得的。

2.根据权利要求1所述的方法，其特征在于，所述视频帧预测模型是按照如下方法训练得到的：

采集多个视频帧样本，并获取每个视频帧样本的深度真值和每个视频帧样本的真实语义信息；

根据所述多个视频帧样本、每个视频帧样本的深度真值和每个视频帧样本的真实语义信息，采用深度神经网络训练得到所述视频帧预测模型。

3.根据权利要求2所述的方法，其特征在于，所述获取每个视频帧样本的深度真值，包括：

通过激光雷达采集每个视频帧样本的深度真值。

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述多个视频帧样本、每个视频帧样本的深度真值和每个视频帧样本的真实语义信息，采用深度神经网络训练得到所述视频帧预测模型，包括：

采用深度神经网络初始化得到初始模型；

将每个视频帧样本输入到所述初始模型，得到所述初始模型输出的深度和语义信息；

根据每个视频帧样本的深度真值和模型预测的深度，获取深度误差；

根据每个视频帧样本的真实语义信息和模型预测的语义信息，获取语义信息的误差；

根据所述深度误差、所述语义信息的误差对所述初始模型进行更新，得到所述视频帧预测模型。

5.根据权利要求1所述的方法，其特征在于，根据所述深度误差、所述投影分布的方差以及所述语义信息的误差对所述初始模型进行更新，得到所述视频帧预测模型，包括：

根据所述深度误差、所述投影分布的方差以及所述语义信息的误差，得到网络损失函数；

根据所述网络损失函数对所述初始模型进行训练，直至网络损失函数值小于预设值，得到所述视频帧预测模型。

6.一种视频帧的处理装置，其特征在于，包括：

获取模块，用于获取待处理的视频帧；

处理模块，用于将所述待处理的视频帧输入视频帧预测模型，得到所述待处理的视频帧的深度和所述待处理的视频帧的语义信息；

其中，所述视频帧预测模型为基于深度神经网络训练的同时获取当前视频帧的深度和所述当前视频帧的语义信息的模型；

所述视频帧预测模型为根据深度误差、投影分布的方差以及语义信息的误差对初始模型进行更新得到的，所述投影分布的方差为根据平面区域的三维点云在平面法向量上的投影获取的，所述平面区域的三维点云为根据每个视频帧样本对应的三维点云和所述每个视频帧样本对应的真实语义信息得到的，所述每个视频帧样本对应的三维点云为基于所述初始模型预测的深度获得的。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括采集模块和训练模块，所述采集模块用于：

采集多个视频帧样本；

所述获取模块，还用于获取每个视频帧样本的深度真值和每个视频帧样本的真实语义信息；

所述训练模块，用于根据所述多个视频帧样本、每个视频帧样本的深度真值和每个视频帧样本的真实语义信息，采用深度神经网络训练得到所述视频帧预测模型。

8.一种终端设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述终端设备执行权利要求1-5任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现权利要求1-5任一项所述的方法。