[发明专利]图像处理方法和装置

说明书

本申请提供一种图像处理方法和装置，在解码端获取待观测场景对应的至少两个传输码流，从传输码流中获得至少两个解码图像，解码图像分别来自不同的传输码流，解码图像中包括至少一个基础视点图像和至少一个有效信息子图，有效信息子图为从非基础视点图像中获得的子图，有效信息子图包含非基础视点图像与基础视点图像不相似的像素，基础和非基础视点图像对应的视点不同，最后根据有效信息子图和基础视点图像，以及合成参数，合成支持用户观看的视点图像，其中，通过至少一个基础视点图像和至少一个有效信息子图合成目标视点图像，数据量小，处理流程简单，而且通过有效信息子图去除了视点间冗余信息，在不丢失大量有效信息的同时，提高解码效率。

技术领域

本申请涉及视频编解码技术领域，尤其涉及一种图像处理方法和装置。

背景技术

随着视频多媒体技术的发展，人们不断追求更高沉浸感和自由度的视觉体验，全向视频得到了很大的关注和研究。ISO/IEC 23090-2标准规范又称为全向媒体格式(omnidirectional media format，OMAF)标准规范，该规范定义了一种媒体应用格式，可以在应用中实现全向媒体的呈现，全向媒体主要是指全向视频(360°视频)和相关音频。OMAF规范首先制定了可以用于将球面视频转换为二维视频的投影方法的列表，其次是如何使用ISO基本媒体文件格式(ISO base media file format，ISOBMFF)存储全向媒体和该媒体相关联的元数据，以及如何在流媒体系统中封装全向媒体的数据和传输全向媒体的数据。

传统OMAF制定的标准中，目标定义新的媒体应用格式，可以在应用中实现相比于全向媒体更高自由度的媒体呈现。三自由度加(3degree of freedom plus，3DoF+)视频就是典型的一种视频媒体呈现。3DoF+视频指的是用户在三维空间的一定的范围内观看全向视频，获得全向视频无法提供的交互感和运动视差，形成更强烈的视觉沉浸感。为了达到这样的视觉沉浸感，需要获取多个视点的纹理信息和深度信息，根据对应视点参数和格式信息，利用视点变换、视图融合、空洞填充等计算机视觉技术，合成出虚拟视点图像。示例性的，如图1所示，通过多视点图像(纹理+深度)、用户姿势跟踪、视点合成渲染合成用户当前观看的视点图像。而这对视频信息的编码效率复杂度、传输效果都提出了更大的挑战。

现有对视频信息的编解码过程中，通过分析视点间的视频信息发现：视点间信息存在巨大的冗余，如果分别传输多路的全向视频，编解码效率会很低。

发明内容

本申请提供一种图像处理方法和装置，以提高视频编解码效率。

本申请第一方面提供一种图像处理方法，在解码端获取待观测场景对应的至少两个传输码流，从上述至少两个传输码流中获得至少两个解码图像，其中，该至少两个解码图像分别来自不同的传输码流，该至少两个解码图像中包括至少一个基础视点图像和至少一个有效信息子图，该有效信息子图从非基础视点图像中获得，该非基础视点图像的有效信息子图包含非基础视点图像与基础视点图像不相似的像素，基础视点图像和非基础视点图像对应的视点不同，基础视点图像对应一个基础视点，最后根据上述至少一个有效信息子图和上述至少一个基础视点图像，以及上述至少一个有效信息子图对应的合成参数和上述至少一个基础视点图像对应的合成参数，合成目标视点图像，这里，目标视点可以根据用户观测位置确定，从而，合成支持用户观看的视点图像，其中，通过至少一个基础视点图像和至少一个有效信息子图合成目标视点图像，数据量小，处理流程简单，而且通过有效信息子图去除了视点间冗余信息，在不丢失大量有效信息的同时，提高解码效率。

一种可能设计，在所述根据所述至少一个有效信息子图和所述至少一个基础视点图像，以及所述至少一个有效信息子图对应的合成参数和所述至少一个基础视点图像对应的合成参数，合成目标视点图像之前，还包括：

从所述至少两个传输码流中获得所述至少一个有效信息子图对应的合成参数和所述至少一个基础视点图像对应的合成参数。