[发明专利]用于视频译码的同时定位与地图构建

说明书

本发明描述视频编码及解码技术，其中预测图像是由将复合图像纹理映射到代理几何结构形成，所述代理几何结构提供当前图像或先前经编码或解码图像的三维结构的近似值。所述预测图像与所述当前图像之间的残差用于编码或解码所述当前图像。

本申请案主张在2014年9月9日提出申请的美国临时申请案62/048,041的权益，所述美国临时申请案的全部内容以引用的方式并入本文中。

技术领域

本发明涉及视频译码。

背景技术

数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字摄像机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓“智能电话”、视频电话会议装置、视频流式处理装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分、高级视频译码(AVC)、目前在研发中的高效率视频译码(HEVC)标准及此些标准的扩展所定义的标准中所描述之那些技术。视频装置可通过实施此些视频译码技术而更高效地发射、接收、编码、解码及/或存储数字视频信息。

发明内容

本发明描述利用当前图像及场景结构图的合成图像来编码或解码所述当前图像的用于视频译码的技术。所述场景结构图可包含图像的一组稀少的点，所述点使用多个多边形(例如，三角形)互连以形成代理几何结构。所述场景结构图可包含当前图像或先前经译码(例如，经编码或经解码)图像的一组稀少的点。所述合成图像为经映射到代理几何结构的一或多个先前经译码图像(例如，叠加在代理几何结构上的一或多个先前经译码图像)。

编码器处理器确定合成图像与当前图像之间的差异，且发信通知所得的残差图像(例如，指示残差图像的输出信息)。另外，编码器处理器间或地发信通知场景结构图的信息且可发信通知关于每一图像的摄像机位置及定向信息(摄像机姿势信息)。发信通知摄像机姿势信息可并非在所有情况中为必需的。解码器处理器接收场景结构图的信息。所述解码器处理器重构所述合成图像，使用用以形成所述代理几何结构的所述场景结构图及一或多个先前经解码的图像。解码器处理器还确定残差数据(例如，基于来自编码器处理器的指示残差图像的信息)、可能摄像机姿势信息并基于所述残差图像、可能摄像机姿势信息及合成图像而重构所述当前图像。在一些实例中，所述编码器处理器可不针对每一图像产生并发信通信所述场景结构图。在这些实例中，所述编码器处理器及所述解码器处理器重新使用先前场景结构图。所述编码器处理器可间或地发信通知所述场景结构图的更新。

在一个实例中，本发明描述一种解码视频数据的方法，所述方法包括：基于复合图像及场景结构图而产生合成图像，其中所述复合图像是由先前经解码的一或多个图像构造，其中所述场景结构图包括所述视频数据的当前图像的场景结构图或先前经解码的所述视频数据的图像的场景结构图，且其中所述场景结构图包含所述当前图像或先前经解码的所述图像内的三维点的坐标值；确定所述视频数据的所述当前图像的残差图像，其中所述残差图像指示所述当前图像与所述合成图像之间的差异；及基于所述合成图像及所述残差图像而重构所述当前图像。

在一个实例中，本发明描述一种编码视频数据的方法，所述方法包括：基于复合图像及场景结构图而产生合成图像，其中所述复合图像是由先前经编码的一或多个图像构造，其中所述场景结构图包括所述视频数据的当前图像的场景结构图或先前经编码的所述视频数据的图像的场景结构图，且其中所述场景结构图包含所述当前图像或先前经编码的所述图像内的三维点的坐标值；基于所述合成图像及所述当前图像而确定残差图像，其中所述残差图像指示所述当前图像与所述合成图像之间的差异；及输出指示所述残差图像的信息以编码所述视频数据的所述当前图像。