[发明专利]触觉图集编码和解码格式

说明书

本发明公开了用于对表示包括与3D场景的对象相关联的触觉特征的3D体积场景的数据流进行编码和解码的方法和设备。在编码时，触觉特征与场景的对象相关联，例如作为触觉图。触觉分量可以作为颜色存储在3D场景的点中。这些分量被投影到补丁画面上，该补丁画面被打包在图集图像中。在解码时，可以根据经解码的图集的像素的深度分量将触觉分量作为颜色去投影到重建点上。

1.技术领域

本发明原理总体涉及三维(3D)场景和体积视频内容的域。还在对富集视频格式进行编码、格式化和解码的上下文中理解本文档，以在诸如移动设备或头戴式显示器(HMD)的最终用户设备上渲染与触觉效果相关的体积内容。

2.背景技术

本部分旨在向读者介绍本领域的各个方面，这些方面可能与下文描述和/或要求保护的本发明原理的各个方面有关。据信该讨论有助于为读者提供背景信息，以促进更好地理解本发明原理的各个方面。因此，应当理解，这些陈述应当从这个角度来解读，而不是承认现有技术。

虚拟现实(VR)的研究结果已经显示，刺激比视觉和听觉更多的感觉增加了沉浸感。如今的HMD附带手动控制器，从而允许用户控制虚拟世界内的头像，并且因此“触摸”虚拟对象。由于嵌入到控制器中的振动器，因此提供了触觉反馈。

至今，考虑到2D或3D 360°视频表示，VR内容可以各种格式分布。在那些格式中，MPEG当前指定360°体积视频数据的格式(由MPEG-I参考)，一个考虑点云(PCC、MPEG-I部分5)，并且另一个考虑视频+深度(3DoF+、MPEG-I部分12)。然而，那些格式限于视听内容。

添加描述触觉、味觉或嗅觉内容的数据将是有价值的。MPEG-V[MPEG-V]架构是用“感官效果”增强的视听内容分布的一种格式化。MPEG-V标准描述了这些感官效果，该感官效果包括触觉效果，但也包括味觉效果和嗅觉效果。MPEG-V支持若干触觉效果诸如振动、刚体运动或力反馈。除了效果之外，还可以刺激整个用户的身体或以用户共享的空间中的特定点为目标。

尽管该格式足够通用以描述许多效果，但是将精确空间触觉属性与视觉对象相关联是不可能的(即，定义对象的纹理、其局部刚度和热属性)。另外，想要重新使用MPEG-I视频容器并添加该触觉信息。

3.发明内容

以下呈现本发明原理的简化概述，以便提供对本发明原理的一些方面的基本理解。本发明内容不是本发明原理的广泛概述。不旨在识别本发明原理的关键或重要元素。以下发明内容仅以简化形式呈现本发明原理的一些方面，作为下面提供的更详细描述的前言。

本发明原理涉及一种方法，该方法包括：

-获得3D场景，所述3D场景的至少一个点包括相对于触觉特征的至少一个分量；

-将所述3D场景的深度分量和所述相对于触觉特征的至少一个分量投影到补丁画面上；以及

-将所述补丁画面打包在图集图像中。

在特定实施方案中，深度分量和所述相对于触觉特征的分量被投影在不同补丁画面上，所述不同补丁画面被打包在不同图集中。在另一个实施方案中，触觉特征被编码为颜色值。在一些实施方案中，触觉特征属于一组触觉特征，该组触觉特征包括速率-硬度、接触面积扩展速率、动力刚度、局部表面定向、局部压痕、冲程光谱响应、动摩擦、静摩擦、粘滑和热分布。

本发明原理也涉及一种包括被配置为执行上述方法的处理器的设备。

本发明原理也涉及一种方法，该方法包括：

-获得包括图集图像打包补丁画面的数据流，所述补丁画面是3D场景的点的投影并且包括深度分量和相对于触觉特征的至少一个分量；

-通过将所述相对于触觉特征的至少一个分量与相对于所述像素的所述深度分量去投影的点相关联来去投影所述图集的像素的分量。