[发明专利]提供全向图像的映射的指示的方法、设备和流

说明书

公开了使用全向视频到2D视频的映射指示对图像序列进行编码和解码的方法、装置或系统。要编码的图像是全向图像。根据不同的实施例，映射指示包括代表用于映射的表面的类型的第一项，该映射属于包括等矩形映射、立方体映射或金字塔映射中的至少一个的组。该指示用于驱动编码、解码或呈现处理。

技术领域

本公开涉及对沉浸式视频进行编码的领域(例如当这样的沉浸式视频在用于虚拟现实、增强现实或增强虚拟的系统中被处理时以及例如当在头戴式显示设备中被显示时)。

背景技术

最近，可用的大视场内容(高达360°)有所增长。这样的内容可能不会被观看诸如头戴式显示器、智能眼镜、PC屏幕、平板、智能电话等的沉浸式显示设备上的内容的用户完全看得见。这意味着在给定时刻，用户可能只是查看内容的一部分。然而，用户可以典型地通过诸如头部移动、鼠标移动、触摸屏、语音等的各种手段在内容内导航。典型地希望对该内容进行编码和解码。

发明内容

本公开的目的是克服向解码系统或呈现系统提供描述沉浸式视频的属性的一组信息的问题。本公开涉及以信号通知适配于将全向视频到矩形二维帧的映射属性提供给解码和呈现应用的语法和语义。

为此，公开了一种解码方法，其包括对视频的图像进行解码，该视频是全向视频被映射成的2D视频；以及对全向视频到2D视频的映射的指示进行解码，该指示包括代表用于映射的表面的类型的第一项，该映射属于包括等矩形映射、立方体映射或金字塔映射中的至少一个的组。有利地，该指示用于视频图像本身的解码或用于经解码图像的沉浸式呈现。

根据各种特性，该指示被编码为补充增强信息消息、或序列级首标信息、或图像级首标信息。

根据具体实施例，该指示还包括代表映射表面在3D空间中的取向的第二项。

根据另一具体实施例，该指示还包括代表映射在表面上的像素的密度的第三项。

根据另一具体实施例，该指示还包括代表映射表面到图像中的布局的第四项。

根据另一具体实施例，该指示还包括代表通用映射的第五项，其对于要编码的视频图像的每个像素包括到全向视频中的对应的像素的球面坐标。

根据另一具体实施例，该指示还包括代表通用映射的第六项，其对于到全向视频中的球体的每个采样像素包括像素在视频图像上的2D坐标。

根据另一具体实施例，该指示还包括第七项，其代表第一通用映射的中间采样空间，对于到全向视频中的球体的每个采样像素包括像素在中间采样空间中的坐标，以及代表第二通用映射的中间采样空间，对于中间空间中的每个采样像素包括像素在视频图像上的2D坐标。

根据第二方面，公开了一种视频编码方法，其包括对视频的图像进行编码，该视频是全向视频被映射成的2D视频；以及对全向视频到2D视频的映射的指示进行编码，该指示包括代表用于映射的表面的类型的第一项，该映射属于包括等矩形映射、立方体映射或金字塔映射中的至少一个的组。

根据第三方面，公开了一种视频传送方法，其包括传送视频的经编码图像，该视频是全向视频被映射成的2D视频；以及传送全向视频到2D视频的映射的经编码指示，该指示包括代表用于映射的表面的类型的第一项，该映射属于包括等矩形映射、立方体映射或金字塔映射中的至少一个的组。

根据第四方面，公开了一种装置，其包括用于以下的解码器：对视频的图像进行解码，该视频是全向视频被映射成的2D视频；以及对全向视频到2D视频的映射的指示进行解码，该指示包括代表用于映射的表面的类型的第一项，该映射属于包括等矩形映射、立方体映射或金字塔映射中的至少一个的组。