[发明专利]深度图获取方法、参考帧生成方法、编解码方法及设备

权利要求书

1.一种深度图获取方法，其特征在于，包括：

确定当前待生成深度图的目标视频帧；所述目标视频帧位于视频帧序列中且非所述视频帧序列中的首个视频帧，所述视频帧序列中包括多个连续视频帧，所述多个连续视频帧的视频内容表征所述多个连续视频帧之间存在相机运动且不存在场景切换；

在所述目标视频帧之前的各个视频帧中选取所述目标视频帧对应的前置视频帧；

获取在所述视频帧序列中已确定的多个图像特征组；

依据各个所述图像特征组，获取所述目标视频帧对应的相机运动信息，所述相机运动信息为所述目标视频帧的相机位姿相对于所述前置视频帧的相机位姿的变化量；

基于所述相机运动信息，计算得到所述目标视频帧的深度图；

所述多个图像特征组的确定过程，包括：

在所述视频帧序列中选取基准视频帧，以及所述基准视频帧对应的第一视频帧和第二视频帧，所述基准视频帧非所述视频帧序列的首个视频帧且非所述视频帧序列的末尾视频帧，所述第一视频帧和所述第二视频帧为所述视频帧序列中关于所述基准视频帧对称的两个视频帧；

在所述基准视频帧中确定多个基准图像块，对于每个所述基准图像块，所述第一视频帧中存在与该基准图像块匹配的第一图像块，且所述第二视频帧中存在与该基准图像块匹配的第二图像块；

在每个所述基准图像块所匹配的第一图像块中选取第一图像特征并在每个所述基准图像块所匹配的第二图像块中选取第二图像特征，并将所述第一图像特征与所述第二图像特征组成图像特征组；所述第一图像特征在所述第一图像块中对应的空间位置与所述第二图像特征在所述第二图像块中对应的空间位置相同。

2.根据权利要求1所述的方法，其特征在于，所述在所述目标视频帧之前的各个视频帧中选取所述目标视频帧对应的前置视频帧，包括：

获取已设定的与所述目标视频帧对应的帧间距值；

依据所述帧间距值，在所述目标视频帧之前的各个视频帧中选取所述目标视频帧对应的前置视频帧。

3.根据权利要求1所述的方法，其特征在于，所述依据各个所述图像特征组，获取所述目标视频帧对应的相机运动信息，包括：

在各个所述图像特征组中选取出部分图像特征组；

依据已选取的所述部分图像特征组以及所述目标视频帧的初始深度图计算得到所述目标视频帧对应的初始相机运动信息；所述初始相机运动信息为所述目标视频帧的相机位姿相对于所述前置视频帧的相机位姿的初始变化量；

基于所述各个图像特征组以及所述初始相机运动信息建立损失函数，以对所述图像特征组中的图像特征的位置进行校准；

应用校准后的图像特征对所述初始相机运动信息进行计算，得到所述目标视频帧的相机运动信息。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述基于所述相机运动信息，计算得到所述目标视频帧的深度图，包括：

获取所述目标视频帧中的每个图像块的运动矢量；

将所述目标视频帧的每个所述图像块的运动矢量作为该图像块所包含的各个像素点的光流运动轨迹；

基于所述相机运动信息以及所述目标视频帧的每个像素点的光流运动轨迹对该目标视频帧的初始深度图进行计算，得到所述目标视频帧的深度图。

5.一种参考帧生成方法，其特征在于，包括：

确定当前视频帧以及所述当前视频帧对应的重构帧序列，所述重构帧序列包括位于所述当前视频帧之前的多个连续视频帧各自对应的重构帧；所述重构帧序列中的各个所述重构帧的视频内容表征各个所述重构帧之间存在相机运动且不存在场景切换；

在除所述重构帧序列的首个重构帧以外的各个所述重构帧中确定至少一个待投影重构帧；

应用权利要求1所述的深度图获取方法，获取所述重构帧序列中的每个所述待投影重构帧对应的相机运动信息以及深度图；

基于每个所述待投影重构帧的深度图将每个所述待投影重构帧的像素点投影至三维空间，得到每个所述投影重构帧的各个三维空间像素点；

基于每个所述待投影重构帧对应的相机运动信息，将每个所述待投影重构帧的各个三维空间像素点投影至所述当前视频帧对应的投影平面，得到所述当前视频帧的参考帧。