[发明专利]用于将注解添加到全光光场的方法和设备

说明书

背景技术

本发明涉及增强现实（augmented reality）方法和设备，特别地涉及用于将注解添加到对应于场景（scene）的数据的方法和各种设备。

在手持便携式装置诸如智能手机、掌上型计算机、便携式媒体播放器、个人数字助理（PDA）装置等等的发展中的快速进步已导致包含涉及图像处理的新奇特征和应用。比如增强现实应用是已知的，其中用户将便携式装置指向场景例如风景、建筑物、海报、或博物馆中的绘画，并且显示器将图像与涉及该场景的叠加的信息一起示出。这样的信息能够包含：例如针对山和住所的名称；人名；针对建筑物的历史信息；和商业信息，诸如广告，例如餐馆菜单。这样的系统的示例在EP1246080中和在EP2207113中被描述。

已知的是通过在无线通信网络中的服务器将注解信息提供给便携式装置。包含带有服务器和便携式装置的通信网络的注解系统以及注解方法也是已知的。

许多注解方法包含将图像诸如由带有标准CCD或CMOS传感器的标准针孔相机产生的2D图像或计算机生成的图像与储存在数据库中的参考图像的集合相比较的步骤。因为实际查看角度和照明条件能够关于储存在数据库中的图像是不同的，所以比较算法的目标是去除这些参数的影响。

比如，WO2008134901描述其中使用与通信终端相关联的数字相机拍摄第一图像的方法。与第一图像相关的询问数据经由通信网络被传输到远程识别服务器，在该远程识别服务器处识别匹配参考图像。通过用注解的图像的至少部分代替第一图像的部分，在通信终端处生成和显示增强图像。用相机拍摄的第一图像的增强发生在平面空间中并且仅处理二维图像和对象。

光线信息，诸如在空间的每个点中的光线的方向，在传统的图像注解系统中被抛弃。没有光线信息的注解使注解的场景的现实视图更困难。比如，捕捉或显示在对象的表面上的纹理要求光线信息。尽管每个对象在它的表面上具有不同的纹理，但是在当前注解系统中添加纹理信息是不可能的。这导致附着的注解实际不被集成在场景中。

另外，增强现实应用的快速增长可能在未来引起注解的泛滥。比如在城市中的一些场景含有与不同注解相关联的许多元素，从而导致下述注解的图像：该注解的图像带有非常大数目的注解，该注解覆盖背景图像的大部分。在许多情况中，用户仅对有限数目的那些注解感兴趣，并且另一些注解只会使人分心。因此，经常将期望的是限制注解的数目并且提供一种选择应该被显示的注解的方式。

此外，对于注解的场景查看而言计算开支是重要问题。将需要减少计算开支。

因此本发明的目标是解决或至少减轻现有增强现实系统的以上提及的问题。

发明内容

依据发明，这些目标通过包括下述步骤的方法来实现：

用全光捕捉装置检索表示光场的数据；

执行用于将捕捉的数据与对应的参考数据匹配的程序代码；

执行用于检索与所述参考数据的元素相关联的在全光格式中的注解的程序代码；

执行用于从所述捕捉的数据和在全光格式中的所述注解生成注解的数据的程序代码。

发明也通过用于捕捉和注解对应于场景的数据的设备来实现，所述设备包括：

全光捕捉装置，用于捕捉表示光场的数据；

处理器；

显示器；

程序代码，当执行所述程序代码时，用于引起所述处理器检索与用所述全光捕捉装置捕捉的数据的元素相关联的在全光格式中的至少一个注解，并且用于在所述显示器上再现从捕捉的数据生成的且包含所述至少一个注解的视图。

发明也提供用于确定注解的设备，所述设备包括：

处理器；

储存器；

程序代码，当执行所述程序代码时，用于引起所述处理器接收表示光场的数据、将所述数据与一个参考数据匹配、从所述储存器确定与所述参考数据相关联的在全光格式中的注解并且将在全光格式中的所述注解或对应于在全光格式中的注解的图像的数据发送到远程装置。

在全光格式中的注解的要求保护的添加允许在全光格式中在图像中的注解的更现实的集成；注解似乎是捕捉的场景的元素，而不仅是叠加在图像之上的文本。在全光格式中的注解（在本申请中也被称为“全光注解”）含有比传统的注解更完整的光场描述，包含如何修改光线的信息。

取决于在图像的再现期间由用户选择的或比如基于他的兴趣自动选择的焦距和/或视点，在全光格式中的注解提供也允许选择应该被显示的注解。

由于注解与捕捉的数据相比较处于相同的空间（即全光空间）中，所以减少针对注解过程的计算开支。