[发明专利]用于编码/解码表示3D对象的点云的几何形状的方法和装置

说明书

本原理涉及用于对点云的几何形状进行编码和解码的两步方法。在第一步中，通过递归地拆分涵盖点云的立方体直到与所述基于八叉树的结构的叶子节点相关联的叶子立方体达到预期尺寸，获得基于八叉树的结构。在第二步中，对于与所述基于八叉树的结构(IO)的叶子节点相关联的每个叶子立方体，该方法通过使用速率失真优化处理来确定是否局部基于八叉树的结构与(或不与)叶子立方体相关联，该优化处理优化用于对近似基于八叉树结构的所述叶子立方体中所包括的点云的点的几何形状的候选的基于八叉树的结构进行编码的位速率与考虑一方面点云的所述点和另一方面与候选的基于八叉树的结构的叶子节点相关联的叶子立方体中所包括的点之间的空间距离的失真之间的折衷。

技术领域

本原理一般而言涉及表示代表3D对象的点云的几何形状的点云的编码和解码。特别地但非排他地，本原理的技术领域与点云的基于八叉树的编码/解码相关。

背景技术

本部分旨在向读者介绍本领域的各个方面，这些方面可以与以下描述和/或要求保护的本原理的各个方面相关。相信该讨论有助于向读者提供背景信息，以促进更好地理解本原理的各个方面。因而，应当理解的是，应从这种角度来阅读这些陈述，而不是作为对现有技术的承认。

点云是通常旨在表示3D对象的外表面的点集合，但也可以是可能无法通过网格等其它数据格式高效地表示的更复杂的几何形状(如头发、皮毛)。点云的每个点常常由3D空间位置(3D空间中的X、Y和Z坐标)定义，并且可能由其它相关联属性定义，诸如以例如RGB或YUV颜色空间表示的颜色、透明度、反射率、两分量法线向量等。

有色点云可以是6分量点(X，Y，Z，R，G，B)或等价地(X，Y，Z，Y，U，V)的集合，其中(X，Y，Z)定义点在3D空间中的空间位置，而(R，G，B)或(Y，U，V)定义这个点的颜色。

在下文中，术语“点云”是指包括有色点云的任何点云。

有色点云可以是静态的或者动态的，这取决于云是否随时间而演化。应当注意的是，在动态点云的情况下，点的数量不是恒定的，相反，一般随着时间而演化。因此，动态点云是点集合的时间排序列表。

实际上，有色点云可以被用于各种目的，诸如文化遗产/建筑物，其中以3D扫描如雕像或建筑物之类的对象，以便在不发送或访问对象的情况下共享对象的空间配置。而且，这是确保保留对象的知识以防对象被破坏的途径；例如，庙宇被地震损坏。这种有色点云通常是静态的并且是巨大的。

另一用例是在地形和制图中，其中，通过使用3D表示，地图不限于平面，而且还可以包括地势。

汽车工业和自主驾驶汽车也是可以使用点云的领域。自动驾驶汽车应当能够“探测”其周围环境，以基于紧邻其附近的环境的实际情况做出安全驾驶决定。典型的传感器产生由决定引擎使用的动态点云。这些点云并非旨在供人类查看。它们通常小，不一定是有色的，并且是动态的，具有高捕获频率。它们可以具有其它属性，如反射率，这是与感测到的对象的物理表面的材质相关的有价值的信息并且可以帮助做出决定。

虚拟现实(VR)和沉浸式世界近来已成为热门话题，并被许多人预见为2D平面视频的未来。基本想法是让观看者沉浸在他周围的环境中，与他只能观看面前的虚拟世界的标准TV相反。取决于环境中观看者的自由度，沉浸性有若干等级。有色点云是分发VR世界的良好格式候选。它们可以是静态的或动态的，并且通常具有平均尺寸，比如说一次不超过几百万个点。

仅当位流的尺寸足够小以允许实际存储/传输给终端用户时，点云压缩才能成功地为沉浸式世界存储/传输3D对象。

同样关键的是能够以合理的带宽消耗将动态点云分发给终端用户，同时维持可接受的(或优选地非常好的)体验质量。与视频压缩相似，时间相关性的良好使用被认为是将导致动态点云的高效压缩的关键因素。