[发明专利]通过提供几何代理进行视频编码

说明书

压缩视频帧包括接收视频帧、在该帧中标识三维(3D)对象、将3D对象与所存储的3D对象进行匹配、基于3D对象和所存储的3D对象使用颜色预测方案压缩视频帧、以及存储具有元数据的压缩帧，该元数据标识3D对象，指示3D对象在视频帧中的位置，并指示3D对象在视频帧中的定向。

相关申请

本申请是2018年9月26日提交的美国非临时申请No.16/143,165的继续并且要求其权益，其全部内容通过引用合并于此。

技术领域

实施例涉及对三维(3D)视频数据进行压缩和解压缩。

背景技术

用于视频压缩的技术都通过通用方法相关。通常，视频的帧通过将该帧的块定义为残差(例如，依据从先前帧或将来帧的位移)来临时压缩。对于帧内具有可以通过平面内刚性变换表征的残差的对象(例如，随时间推移在图像平面中移位和旋转的对象)，此压缩技术通常是可接受的(例如，在解压缩时具有最小的伪像或误差)。尽管此模型捕获许多视频动态源(例如，相机或场景平移)，但是存在常见场景，针对其这不是最佳模型(解压缩时效率低下或包含过多的伪像或误差)。

换句话说，典型的预测方案可以可靠地预测先前和/或未来帧(例如，关键帧)中的像素/块/补片，以用于当对象大部分线性移动和/或具有从帧到帧的可预测运动。然而，当对象具有从帧到帧的动态非线性运动时，典型的预测方案可能无法可靠地预测先前帧和/或未来帧(例如，关键帧)中的像素/块/补片以用于计算残差。因此，当对象具有从帧到帧的动态非线性运动时，使用位移预测模型将可能会导致很少的压缩。

发明内容

示例实施方式描述通过几何代理使用颜色预测来压缩视频的帧的系统和方法。

在总体方面，一种方法和其上存储有计算机可执行程序代码的非暂时性计算机可读存储介质，所述计算机可执行程序代码在计算机系统上执行时，使计算机系统执行步骤。所述步骤包括，接收视频的帧，在该帧中标识三维(3D)对象，将3D对象与所存储的3D对象进行匹配，基于3D对象和所存储的3D对象使用颜色预测方案压缩视频帧，以及存储具有元数据的压缩帧，该元数据标识3D对象，指示3D对象在视频帧中的位置并指示3D对象在视频帧中的定向。

实施方式可以包括以下一个或多个特征。例如，基于3D对象和所存储的3D对象使用颜色预测方案对视频的帧进行压缩可以包括，基于所存储的3D对象生成第一3D对象代理，基于在帧中标识的3D对象变换第一3D对象代理，基于所存储的3D对象生成第二3D对象代理，在视频的关键帧中标识3D对象，基于在关键帧中标识的3D对象变换第二3D对象代理，将颜色属性从3D对象映射到经变换的第一3D对象代理，将颜色属性从在关键帧中标识的3D对象映射到经变换的第二3D对象代理，以及基于经变换的第一对象的颜色属性以及经变换的第二3D对象代理的颜色属性生成3D对象的残差。

例如，基于3D对象和所存储的3D对象使用颜色预测方案对视频的帧进行压缩可以包括，基于所存储的3D对象生成第一3D对象代理，基于帧中标识的3D对象变换第一3D对象代理，基于所存储的3D对象生成第二3D对象代理，在视频的关键帧中标识3D对象，基于在关键帧中标识的3D对象变换第二3D对象代理，将颜色属性从3D对象映射到经变换的第一3D对象代理，以及基于经变换的第一3D对象代理的颜色属性和经变换的第二3D对象代理的默认颜色属性生成3D对象的残差。