[发明专利]用于多视图视频的视频编码技术

说明书

本文公开了用于编码和解码作为立方体映射图像捕获的视频的技术。根据这些技术，生成填充参考图像以在预测输入数据期间使用。以立方体映射格式存储参考图像。从该参考图像生成填充参考图像，其中将包含在参考图像中的第一视图的图像数据复制并相邻于包含在该立方体映射图像中的第二视图放置。当对输入图像的像素块进行编码时，可在该输入像素块和该填充参考图像的内容之间执行预测搜索。当该预测搜索识别到匹配时，可相对于来自该填充参考图像的匹配数据对像素块进行编码。在该填充参考图像中存在复制的数据预计会增加为输入像素块数据识别到足够预测匹配的可能性，这将提高视频编码的总体效率。

背景技术

本公开涉及用于多视图成像系统的编码/解码系统，并且具体地讲，涉及将最初为平面图像开发的编码技术用于多视图图像数据。

视频编码系统通常通过利用视频内容中的空间和/或时间冗余来减小视频信号的带宽。将输入数据的给定部分(为方便起见称为“像素块”)与先前编码的图像进行比较以识别类似的内容。如果搜索识别适当的匹配，则相对于来自先前图像的匹配数据(“参考块”)将输入像素块差异地编码。许多现代编码协议，诸如ITU-T H.265、H.264、H.263及它们的前身，已围绕这些基本原理进行设计。

此类视频编码协议在图像数据为“平面的”的假设下进行操作，这意味着图像内容表示连续二维视场。然而，正在开发的现代视频系统不在这些假设下操作。

多视图成像是其中图像数据不是平面的的一种应用。由多视图成像系统生成的图像可表示图像数据的二维阵列中的图像数据，但空间不连续性可存在于该图像内所包含的图像数据中。可用空间相对较小的对象运动可由表示该对象的图像数据内的大空间运动来表示。因此，现代编码系统可能无法将这些运动实例识别为差分编码的机会。由于未能识别出此类现象，此类编码系统不会尽可能有效地对图像数据进行编码。

因此，本发明人认识到需要改进编码系统以适应多视图图像数据中可能出现的运动效果。

发明内容

本公开的一方面提供了一种视频编码方法，包括：对于以立方体贴图格式存储的参考图像，生成填充参考图像，其中将以立方体贴图格式包含的第一视图的图像数据复制并相邻于包含在立方体贴图图像中的第二视图放置，对于要被编码的输入图像的像素块，搜索输入图像和填充参考图像的内容之间的预测匹配，搜索包括第一视图的所复制的数据，当发生匹配时，相对于来自填充参考图像的匹配数据，对像素块进行差异编码。

本公开的另一方面提供了一种视频编码系统，包括：视频编码器，视频编码器具有用于要被编码的像素块和预测像素块的输入部；视频解码器，视频解码器具有耦接至视频编码器的输出部的输入部；参考画面存储库，参考画面存储库用于存储由视频解码器生成的解码画面，解码画面处于立方体贴图格式；填充单元，填充单元用于从存储在参考画面存储库中的解码画面生成填充参考图像，填充参考图像具有解码画面的第一视图的图像数据，第一视图被复制并相邻于包含在解码画面中的第二视图放置；和预测器，预测器具有耦接至填充单元的输入部和耦接至视频编码器的输出部，其中预测器被配置为：其中预测器被配置为：对于要被编码的像素块，搜索要被编码的像素块与填充参考图像的内容之间的预测匹配，搜索包括第一视图的所复制的数据，并且当发生匹配时，相对于来自填充参考图像的匹配数据，对像素块进行差异编码。

本公开的又一方面提供了一种存储程序指令的计算机可读介质，程序指令在由处理设备执行时使设备：对于以立方体贴图格式存储的参考图像，生成填充参考图像，其中将以立方体贴图格式包含的第一视图的图像数据复制并相邻于包含在立方体贴图图像中的第二视图放置，对于要被编码的输入图像的像素块，搜索输入图像和填充参考图像的内容之间的预测匹配，搜索包括第一视图的所复制的数据，当发生匹配时，相对于来自填充参考图像的匹配数据，对像素块进行差异编码。