[发明专利]用于表示视觉信息的方法、计算机程序、计算机程序产品和系统

说明书

本公开涉及一种用于表示包括至少一个表示视觉信息的n维数据元素的数据集的计算机实现的方法，所述方法包括获得(210)所述数据集，获得(220)包括多个字典的字典集合，每个字典包括至少一个基函数(102)，将每个至少一个数据元素分配(230)到字典，其中，基函数集表示m维变换域，利用基函数的相应字典将至少一个数据元素变换(240)到变换域，其中每个数据元素由关联的系数集定义，稀疏(250)系数集，形成(260)包括系数数据集和相应字典的视觉信息的表示。

技术领域

本公开涉及表示视觉信息，例如光场数据。

背景技术

在过去的十年中，计算摄影领域，特别是光场和多视图成像，作为成像和视频技术的一个新的范例，已经出现并成熟。这些技术实现了一系列新颖的应用，从高级的多维图像处理到电影编辑，无眼镜3D显示系统，单传感器光场相机，光谱成像和外观捕捉。使用这些新的视觉信息格式的挑战与所产生数据的大小有关。由于数据量大而引起的两个重要问题是数据的有效存储和从传感器系统传输捕获的数据所需的基础结构。数据压缩和图像压缩是两个成熟的研究领域，致力于解决处理和存储大数据量的挑战。

发明内容

捕获、存储和处理高维数据所固有的一个非常重要且仍未解决的挑战是处理非常大的数据大小。

本发明涉及该问题的解决方案。

本发明涉及用于表示包括表示视觉信息的n维数据元素的数据集的计算机实现的方法，该方法包括获得视觉信息的步骤，获得字典集合的步骤，字典包括基函数集，将数据元素分配给字典的步骤，利用相应基函数集将数据元素变换到由系数集表示的变换域的步骤，稀疏所述系数集的步骤以及基于稀疏系数集和基函数的相应字典来形成视觉信息表示的步骤。形成视觉信息的表示的步骤可以包括压缩稀疏系数集。

如上所述的方法的一个优点是可以提高视觉信息的压缩率。

如上所述的方法的一个优点是可以减少压缩视觉信息的重构误差。

如上所述的方法的一个优点是改进视觉信息的压缩感知。

如本文所定义的本发明使得能够改进压缩视觉信息的选择性重建。

获得包括视觉信息的数据元素的数据集的步骤可以包括获得多维视觉信息。数据元素包括至少一个数据点。视觉信息可以包括基于传感器数据以及传感器数据的可能内插值的数据元素和/或数据点。视觉信息可以包括基于计算机生成的图像以及计算机生成的图像的可能内插值的数据元素和/或数据点。

该方法可以特别用于非常大的数据集的捕获、存储和处理中，该数据集诸如视角数据之类的高维数据。该方法可以用于压缩任何种类的多维数据。该方法可以使用非本地聚类。该方法可以用于多维数据集的非本地聚类。该方法允许对压缩的可能多维数据进行有效的本地重建。

获得包括基函数的字典集合的步骤可以包括学习字典集合。字典集合包括基函数集，这些基函数表示m维变换域中视觉信息的n维数据元素。变换域的维数m可以等于或大于2。变换域的维数m可以等于或大于视觉信息的维数n。本公开涉及用于在任意维数之间进行变换的方法。基函数集可以在变换域中以其各种维度独立表示视觉信息。将视觉信息的数据元素变换为多维变换域可以使特定的数据元素重建，例如重建视频的单个帧，而不是重建整个视频。可以将包括表示视觉信息的n维数据元素的视觉信息各自分配给字典。可以基于稀疏性来分配数据元素。基于稀疏性分配数据元素允许使用字典来变换特定稀疏度范围内的所有数据元素，该字典包含适用于将稀疏性范围内的数据元素变换到变换域的基函数集，其中，数据元素由相关的系数集表示。

如本文中所使用的术语变换域是指通过系数集和对应的基函数集来表示视觉信息。通过具有基函数e^-2πiwx的傅里叶变换可以实现众所周知的变换，该函数将时间函数变换为不同频率的正弦波之和，每个正弦波都代表频率分量。频域中的频率分量代表时间函数。类似地，在本公开中，系数集表示由每个字典的基函数定义的变换域中的视觉信息。