[发明专利]用于获取、表示、比较和传输三维数据的方法和系统

说明书

背景技术

现有技术中已知有多种方法利用结构光，或者更具体地编码光来执行有源三角形法。

一般来说，编码光方法旨在通过投射一系列光模式（pattern）来获取兴趣对象的三维几何结构。典型的系统的特征在于具有非共线光轴的照相机和投影机，其中投影机能够捕获以这些模式照亮的对象的图像，如背景技术图1所示且如以下详细描述的。所述模式被设计为形成在投影机系统坐标中对对象上照亮的点的位置进行编码的代码。在照相机所看到的每个像素中，投影机坐标因而也是可用的，这允许通过三角法重构点的三维位置。三角法假设已知照相机和投影机系统的坐标之间的几何关系，其是通过校准恢复的。重构为照相机图像的每个像素产生x，y，z世界坐标，其可以以三个矩阵的形式表示（称作几何图像）。典型地，8-12种模式用于准确的几何重构（虽然较少模式可以用于各种应用，如单模式几何重构装置）。为了捕获视频速率（每秒30帧），用于几何获取的照相机必须能够捕获每秒至少240-360帧。在一些应用中，希望投射的模式不被人类看见，这能够通过使用不可见（例如，红外）频谱投影机和具有对该频谱敏感的传感器的照相机而实现。

如果人们希望也获取对象的光度属性（纹理），则可以投射被照相机捕获的完全黑暗和完全明亮的模式。纹理图像的分辨率与用于几何获取的照相机的分辨率相同。

通过重复地在移动对象上投射光模式，捕获各个图像，并执行重构，人们能够获得对象的三维视频。该视频能够被压缩、传输和存储。

发明内容

背景技术没有教导或建议用于获取、表示、比较、传输和存储三维数据的系统和方法，其非常高效且允许广泛压缩数据。

通过提供获取三维数据且允许高效和广泛压缩的系统和方法，本发明克服了背景技术的上述缺点。

根据至少一些实施例，提供用于获取三维数据的系统和方法，包括：投射一系列编码光模式；通过照相机接收照亮场景的图像；处理它们以获得二进制数据，包括I1,…,Ib；执行场景的三维结构的重构，产生3D坐标x，y，z；以及将所述3D坐标转换为表示数据，所述表示数据被更好地架构以用于标准压缩算法并因此能更好地压缩。

根据至少一些实施例，重构产生表示为几何图像的原始数据，其中在图像的每个像素中，存储在空间中像素的三维坐标。因此，几何图像能够被认为是x(i,j),y(i,j)和z(i,j)形式的三个数组，其中i，j是像素指数，x，y，z是三维坐标。

可替换地，几何图像能够被转换成与每个像素的定位和从照相机原点(x0,y0,z0)到对象的距离r有关一组数据。在简单的转换过程中，该转换根据以下公式进行

r(i,j)=sqrt{(x(i,j)-x0)^2+(y(i,j)-y0)^2+(z(i,j)-z0)^2}。

纹理信息（灰度或颜色）可以由单独的照相机捕获，其可能具有与用于三维数据获取的照相机不同的分辨率。相对于用于三维数据获取的照相机校准纹理照相机，这种校准提供从三维空间坐标x，y，z到纹理照相机二维坐标系（u，v）的映射。结果，对于范围图像中的每个像素i，j，可以获得纹理图像T(u,v)中对应的像素i’，j’，其能用于纹理映射。纹理映射可以可选地根据以下简单过程执行：对于每个范围图像像素i，j，计算纹理坐标u(i,j),v(i,j)。这些坐标可以处于子像素精度，并且通过从T的附近像素对点u(i,j)，v(i,j)处的T的值插值来计算纹理。这样，创建在范围图像坐标中的纹理图像T’(i,j)=T(u(i,j),v(i,j))，并且在范围像素及其纹理之间存在一对一的对应关系。

如果纹理照相机有颜色，则颜色纹理数据可以可选地表达为RGB(u,v)，并根据这种映射插值为RGB’(i,j)=RGB(u(i,j),v(i,j))。

上述映射允许更少的数据用于几何图像数据和纹理数据（或者纹理/颜色数据），例如且并不限于传输、存储等，而不要求使用压缩的损耗方法。此外，这种数据可以可选地以适于由已知的数据压缩方法压缩的格式（例如一系列视频帧）提供。例如，可以可选地以r(i,j)矩阵为特征构造视频帧，从而视频数据可以可选地提供为一系列具有该帧结构的图像。这种帧结构使得已知的视频压缩方法（例如，H.264（示例性而非限制性））能够压缩视频数据。各种压缩方法在以下将会进行详细描述。

并不希望受限于封闭列表，3D数据压缩的一个挑战在于使用现有的压缩算法（称作编码解码器或编码器/解码器，例如用于视频压缩的MPEG或H.264标准）结合数据的特殊表示以使其更可压缩。在使用纹理信息的情况下，这种表示必须允许几何和纹理信息的组合表示。