[发明专利]经由点云表示的网格压缩

说明书

本文描述了一种使用基于投影的方法压缩网格并利用已经为基于投影的点云压缩生成的工具和语法的方法。类似于V‑PCC方法，网格被分割成表面面片，唯一的区别是这些面片段遵循网格的连接性。然后将每个表面面片(或3D面片)投影到2D面片，从而在网格的情况下，三角形表面采样类似于计算机图形中使用的常见栅格化方法。对于每个面片，经投影的顶点的位置和这些顶点的连接性一起保存在列表中。经采样的表面现在类似于点云，并使用与点云压缩使用的相同的方法对经采样的表面进行编码。此外，顶点和连接性的列表是按每个面片编码的，并且该数据与经编码的点云数据一起被发送。

相关申请的交叉引用

本申请在35 U.S.C.§119(e)下要求于2019年12月10日提交的标题为“经由点云表示的网格压缩”的美国临时专利申请序列No.62/946,194的优先权，为了所有目的，其全部内容通过引用并入本文。

技术领域

本发明涉及三维图形。更具体地，本发明涉及三维图形的编码。

背景技术

近年来，一种基于3D到2D投影的压缩点云的新方法正在被标准化。该方法也被称为V-PCC(基于视频的点云压缩)，其将3D点云数据映射成若干2D面片(patch)，然后将这些面片进一步排列成图集(atlas)图像，然后用视频编码器对其编码。该图集图像对应于点的几何形状、各自的纹理和一个占位图，该占位图指示了为点云重建要考虑哪些位置。

2017年，MPEG发布了点云压缩的提案征集(CfP)。在对若干提案的评估后，目前MPEG正在考虑两种不同的点云压缩技术：3D原生编码技术(基于八叉树和类似的编码方法)，或3D到2D投影，然后是传统的视频编码。在动态3D情景的情况下，MPEG正在使用基于面片表面建模的测试模型软件(TMC2)，将面片从3D投影到2D图像，并使用视频编码器(诸如HEVC)对2D图像编码。这种方法已经证明比原生3D编码更有效，并且能够以可接受的质量实现具有竞争力的比特率。

由于基于投影的方法(也称为基于视频的方法，或V-PCC)编码3D点云的成功，该标准有望在未来的版本中包括进一步的3D数据(诸如3D网格)。但是，当前版本的标准仅适合用于点的未连接的集合的传输，因此没有发送点的连接性的机制，尽管其在3D网格压缩中是必需的。

将V-PCC的功能扩展到网格的方法也已经被提出。一种可能的方法是使用V-PCC对顶点进行编码，然后使用网格压缩方法(诸如TFAN或Edgebreaker)对连接性进行编码。这种方法的局限性在于原始网格必须是稠密的，所以从顶点生成的点云不是稀疏且可以在投影后被高效编码的。此外，顶点的顺序影响连接性的编码，并且已经提出了重新组织网格连接性的不同方法。编码稀疏网格的另一种方法是使用RAW面片数据对3D中的顶点位置进行编码。由于RAW面片直接对(x，y，z)进行编码，在这个方法中，所有的顶点被编码为RAW数据，而连接性由类似的网格压缩方法进行编码，如前所述。在RAW面片中，可以按任何优选顺序发送顶点，因此可以使用从连接性编码生成的顺序。这种方法可以对稀疏点云进行编码，但是RAW面片对于编码3D数据效率不高，并且从这种方法可能会丢失进一步的数据(诸如三角形面的属性)。

发明内容

本文描述了一种使用基于投影的方法压缩网格并利用已经为基于投影的点云压缩生成的工具和语法的方法。类似于V-PCC方法，网格被分割成表面面片，唯一的区别是这些面片段遵循网格的连接性。然后将每个表面面片(或3D面片)投影到2D面片，凭借在网格的情况下，三角形表面采样类似于计算机图形中使用的常见栅格化方法。对于每个面片，经投影的顶点的位置以及这些顶点的连接性都保存在列表中。经采样的表面现在类似于点云，并使用与点云压缩使用的相同的方法对经采样的表面编码。此外，顶点和连接性的列表是按每个面片编码的，并且该数据与经编码的点云数据一起被发送。