[发明专利]用于虚拟现实图像的图像增强的方法和装置

权利要求书

1.一种用户装置UE，包括：

至少一个传感器(370)，被配置为确定用户的视点信息；以及

处理器(340)，其连接到所述至少一个传感器(370)，所述处理器被配置为：

接收包括至少一个编码图像(400)和用于所述至少一个编码图像(400)的元数据的位流，

将所述位流解复用为所述至少一个编码图像(400)和所述元数据，

基于所述视点信息确定包括要显示的所述至少一个编码图像(400)的多个片段(402，404，406)的视口(606)，

基于所述多个片段(402，404，406)中的每个片段的色调映射函数，导出依赖视图的色调映射函数，

确定每个片段(402，404，406)的经过时空平滑的照度峰值的加权平均，所述加权平均是对所述多个片段(402，404，406)进行平均的，其中，所述加权平均的加权因子是所述视口(606)和每个片段(402，404，406)的重叠部分中的像素的数量与所述视口(606)中的总像素数量的比值，

基于所述照度峰值的加权平均将依赖视图的色调映射函数应用于所述至少一个编码图像(400)的与所述视口(606)相对应的一部分，以及

渲染所述至少一个编码图像(400)的所述一部分。

2.如权利要求1所述的UE，其中所述至少一个编码图像(400)包括所述多个片段(402，404，406)。

3.如权利要求1所述的UE，其中元数据包括分段元数据和用于所述多个片段(402，404，406)中的每个片段的色调映射函数。

4.如权利要求1所述的UE，其中视点信息包括俯仰信息和偏转信息。

5.如权利要求4所述的UE，其中处理器(340)被配置为基于所述俯仰信息和偏转信息来确定所述视口(606)。

6.如权利要求1所述的UE，其中所述UE是头戴式显示器HMD(300)。

7.一种用于操作用户装置UE的方法，所述方法包括：

接收包括至少一个编码图像(400)和用于所述至少一个编码图像(400)的元数据的位流，

通过使用一个或多个传感器(370)确定用户的视点信息，

将所述位流解复用为所述至少一个编码图像(400)和所述元数据，

基于所述视点信息确定包括要显示的多个片段(402，404，406)的视口(606)，

基于所述多个片段(402，404，406)中的每个片段的色调映射函数，导出依赖视图的色调映射函数，

确定每个片段(402，404，406)的经过时空平滑的照度峰值的加权平均，所述加权平均是对所述多个片段(402，404，406)进行平均的，其中，所述加权平均的加权因子是所述视口(606)和每个片段(402，404，406)的重叠部分中的像素的数量与所述视口(606)中的总像素数量的比值，

基于所述照度峰值的加权平均将依赖视图的色调映射函数应用于所述至少一个编码图像(400)的与所述视口(606)相对应的一部分，以及

渲染所述至少一个编码图像(400)的所述一部分。

8.如权利要求7所述的方法，其中确定所述视口(606)包括：

从所述UE中的一个或多个传感器(370)识别俯仰信息和偏转信息；以及

基于所述俯仰信息和偏转信息来计算边界框(902)。

9.如权利要求7所述的方法，其中所述至少一个编码图像(400)是包括多个帧的视频。

10.如权利要求9所述的方法，其中所述方法还包括对所述多个帧中的每一帧应用空间平滑或者时间平滑。