[发明专利]使用多边形的3D网格和对应纹理对图像进行编码的方法和装置

说明书

技术领域

一般来说，本发明涉及编码。更具体来说，本发明涉及编码深度信息。

背景技术

在图像捕获期间，存在用来捕获与图像纹理信息关联的深度信息的各种技术。深度信息通常用来产生具有三维(3D)多边形网格(其定义图像中的3D对象的形状)的点云或深度图。

原始或者未压缩深度信息可由照相装置来捕获，并且然后发送给处理单元供进一步处理。深度信息可按照多种格式的任一种发送给处理单元。深度信息也可使用立体对或者多视图立体重构方法从2D图像来得出。此外，深度信息可从大量直接深度感测方法(包括结构光、飞行时间传感器和许多其它技术)来得出。

在处理之后，深度信息可按照若干格式来表示，包括但不限于3D空间中的X、Y和Z点云、2D深度图图像或者三角形或四边形的3D表面网格。用于表示深度信息的其它格式包括XML编码格式、文本格式或者图形格式(例如OpenGL)。

附图说明

图1是可按照实施例使用的计算装置的框图；

图2A是按照实施例的多边形网格；

图2B是按照实施例的施加纹理的多边形网格；

图3是示出按照实施例、用于再现3D图像的方法的过程流程图；

图4是按照实施例、M帧、T帧和C帧中存储的数据的简图；

图5是按照实施例的帧序列；

图6是示出按照实施例、用于使用网格和纹理对图像进行编码的方法的过程流程图；

图7是示出按照实施例、存储用于使用网格和对应纹理对图像进行编码的代码的有形非暂时计算机可读介质的框图；

图8是按照实施例、用于使用多边形的3D网格和对应纹理对图像进行编码的示范系统的框图；

图9是按照实施例、可实施图8的系统的小形状因数装置900的示意图；以及

图10是示出按照实施例、用于在打印装置中打印使用多边形的3D网格和对应纹理所编码的图像的方法的过程流程图。

相同标号在本公开和附图中通篇用来表示相似组件和特征。100系列中的标号表示最初见于图1的特征；200系列中的标号表示最初见于图2的特征；依此类推。

具体实施方式

如上所述，深度信息可连同关联图像纹理信息一起发送给处理单元供进一步处理。在实施例中，可使用提取深度信息的任何技术。深度信息可按照多种格式的任一种发送给处理单元。例如，结构光图案可广播到画面中，以及深度信息可通过检测图案的大小来重构，因为结构光图案随距离而变化。在其它示例中，飞行时间(TOF)传感器可用来通过测量红外光从传感器到对象并且返回的往返飞行时间来采集信息。

如上所述，深度信息也可使用立体对或者多视图立体重构方法从2D图像来得出，或者深度信息可从大量直接深度感测方法(包括结构光、飞行时间传感器和许多其它方法)来得出。但是，当前2D图像捕获系统不产生深度图。此外，深度信息没有经过标准化。缺乏发送深度信息和关联图像纹理信息的标准化方法会防止深度信息在多种应用中使用。相应地，本文所述的实施例涉及对深度信息和关联图像纹理信息进行编码。编码信息可与任何媒体CODEC格式配合使用。通过组合标准媒体CODEC格式对信息进行编码，实现真实视频图像与合成3D图形的融合。

在以下描述和权利要求书中，可使用术语“耦合”和“连接”及其派生。应当理解，这些术语并不是要作为彼此的同义词。相反，在具体实施例中，“连接”可用来表示两个或更多元件相互直接物理或电气接触。“耦合”可表示两个或更多元件直接物理或电接触。但是，“耦合”也可表示两个或更多元件不是相互直接接触，但是仍然相互配合或交互。

一些实施例可通过硬件、固件和软件其中之一或者它们的组合来实现。一些实施例还可作为机器可读介质上存储的指令来实现，所述指令可由计算平台读取和运行以执行本文所述的操作。机器可读介质可包括用于存储或传送机器、例如计算机可读形式的信息的任何机制。例如，机器可读介质可包括：只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪速存储器装置；或者电、光、声或其它形式的传播信号(例如载波、红外信号、数字信号或者传送和/或接收信号的接口)等。