[发明专利]用于动态白点补偿以改进合成内容的感知颜色的装置及方法

说明书

本发明涉及用于根据场景中的真实内容的白点、光谱分布、颜色或其他光学参数来补偿增强现实场景中的虚拟内容的渲染的方法和装置。

背景技术

增强现实头戴式头戴式装置向佩戴者呈现对真实世界的大体上无阻挡的视图，且还具有经由头戴式显示器将合成的计算机产生的(即，虚拟的)内容覆盖到场景中的潜力。真实世界和合成图像两者都可以被实时地观看，并且该合成图像可以被动态地重新定位以考虑佩戴者的眼睛、头部和身体运动。前向相机可向处理器提供关于真实世界的信息，便如同其出现在佩戴者的视野中那样。场景标记(即，场景中的预先已知的真实视觉元素)可用作参考来精确地确定和调整插入到所述场景中的任何合成图像的位置。

发明内容

公开了用于根据增强现实场景中的真实世界内容的白点(或其他光学属性，诸如光谱功率分布或颜色等)来补偿该场景中的合成内容的渲染的方法和装置。根据一个示例性实施例，增强现实系统至少包括用于捕获图像(例如，真实世界场景)的相机、显示设备(例如，增强现实眼镜)、以及用于生成合成内容并将该合成内容插入到显示所述真实世界内容或图像的所述设备的显示中的处理器。该处理器还可以接收或以其他方式被提供有关于所述相机的某些特性和/或关于所述显示设备的光学传输属性的特性(例如，增强现实眼镜的光谱透射率)。在一个实施例中，所述相机捕获真实世界场景的图像并将其发送到所述处理器，该处理器除了其他任务之外还基于已知的相机特性和所述场景的图像来估计照射所述场景的光源的白点(或其他光学属性，例如，光谱功率分布或颜色)。然后，其可以基于所捕获的图像的估计白点以及可选的关于所述增强现实眼镜的光学透射特性来确定要用于渲染所述合成内容的适当虚拟发光体(illuminant)，并且然后将所述合成内容渲染到所述增强现实眼镜。在实施例中，所述处理器可将所述场景的所确定的白点与预测的发光体(例如，自然日光或白炽灯泡)相关，且接着选择所述虚拟发光体的颜色以紧密匹配所估计的真实世界发光体。

在其他实施例中，所述相机可以适于捕获在已经通过所述眼镜之后的所述真实世界的图像，在这种情况下，所述眼镜的光学传输属性将固有地被考虑到所述相机的测量输出中，从而潜在地消除了单独针对所述眼镜的所述光学传输属性进行补偿的任何需要。

在对所述实施例中的任一者的潜在增强中，还可采用时间平滑来响应于合成内容正与其组合的真实世界场景中的变化条件(例如，变化光照)而平滑所渲染合成内容随时间的转变。这可以涉及确定场景的真实世界内容的先前估计的白点与当前估计之间的差，并且将该差划分成多个步长，并且在时间间隔上通过这些步长来递增目标白点。这样的实施例对于这样的系统是有利的，即，在该系统中，真实世界场景发光体可比所述虚拟发光体可被更新的速度更快地进行可感知的改变(例如，以比所述系统更新所述虚拟发光体的速率显著更快的周期性而进行改变)。

在对任何上述实施例的另一潜在增强中，仅当关于白点的两个估计之间的差超过阈值时，才可以实施所述时间平滑。

附图说明

从以下结合附图以示例方式给出的详细描述中可以获得更详细的理解。这些附图中的示图与详细描述一样，均是是示例。因此，附图和详细描述不应被认为是限制性的，并且其它等效的示例是可行的并且是可能的。

此外，图中相同的附图标记表示相同的元素，其中：

图1A是示出了包括真实内容和合成内容的增强现实场景的图片；

图1B是示出了与图1A类似的增强现实场景的图片，但是具有关于图片的真实内容的不同光照；

图1C是示出了与图1A和1B类似的增强现实场景的图片，但是具有关于所述合成内容的校正光照；

图2是示出了示例性增强现实显示系统的组件的框图；

图3A是示出了根据实施例的第一方面的处理的流程图；

图3B是示出了根据实施例的第二方面的处理的流程图；以及

图4是根据一实施例的信号流程图。