[发明专利]用于图像捕获和处理的方法、系统和介质

说明书

本公开涉及为沉浸式增强现实、实况显示墙、头戴式显示器、视频会议和类似应用，基于观看者的视点(POV)来使用相机阵列捕获场景图像并处理所捕获图像的操作、系统和计算机可读介质。在一个具体实施中，公开的主题通过组合由相机阵列捕获的图像向观看者提供完整视图。在另一具体实施中，公开的主题在观看者从一个位置移动到另一个位置时跟踪观看者的POV，并根据其变化的POV显示图像。观看者POV的变化包括在X、Y和Z维度上的移动。

相关申请的交叉引用

本申请依据35U.S.C.§119(e)要求2017年5月5日提交的美国继续申请 No.15/588,228；2016年9月23日提交的，现在发布为美国专利9,681,096的美国非临时申请No.15/275,074；以及2016年7月18日提交的美国临时申请 No.62/363,681的优先权，其内容据此全文以引用方式并入本文。

背景技术

近年来，沉浸式增强现实、显示墙、头戴式显示器和视频会议的使用有所增加。例如，视频会议是在两方或更多方之间进行的在线会议，其中每一方都可以听到其他方的语音并看到图像。在两方之间的视频会议中，每一方都通过每处地点的终端，例如台式计算机系统、平板电脑系统、电视屏幕、显示墙或智能电话参与会议。终端通常包括麦克风以捕获音频，网络摄像头以捕获图像，一组硬件和/或软件以处理捕获的音频和视频信号，网络连接以在各方之间传输数据，扬声器以播放语音，以及显示器以显示图像。在这种传统的设置中，观看者只能看到其相对方及其场景的固定视点。具体地讲，观看者只能看到由相对方的网络摄像头捕获的内容。此外，当观看者在会议期间从一个位置移动到另一个位置时，他的视点 (POV)可能会发生变化。然而，由于相对方地点处图像捕获的限制，观看者始终仅能从相同视点观看图像。

发明内容

本公开描述了一种技术，该技术涉及并可以用于为沉浸式增强现实、实况显示墙、头戴式显示器和视频会议应用进行图像捕获和处理。在一个实施方案中，公开的主题通过组合由相机阵列捕获的图像向观看者提供完整视图。在另一个实施方案中，公开的主题在观看者从一个位置移动到另一个位置时跟踪观看者的视点(POV)，并根据其变化的POV显示图像。观 看者POV的变化包括例如在X、Y和Z维度上的移动。