[发明专利]三维遥现终端及方法

说明书

一种示例遥现终端包括透镜显示器、图像传感器、红外发射器和红外深度传感器。所述终端可以使用由红外发射器发射并由图像传感器捕获的可见光来确定图像数据，并且使用由红外深度传感器捕获的红外光来确定深度数据。所述终端还可以将深度数据和图像数据传达到远程的遥现终端，并接收远程图像数据和远程深度数据。所述终端还可以基于能够从第一观看位置观看的远程图像数据使用透镜显示器生成第一显示图像，并且基于能够从第二观看位置看到的远程图像数据和远程深度数据使用透镜显示器生成第二显示图像。

相关申请的交叉引用

本申请要求在2016年9月9日提交的名称为 THREE-DIMENSIONAL TELEPRESENCESYSTEM(三维遥现系统) 的美国临时申请No.62/385,685的优先权，其全部内容通过引用合并于此。

背景技术

诸如视频会议系统之类的会议系统被用于各种设置中，以便为参与者提供进行虚拟会议而无需共处的机会。例如，视频会议系统可以提供显示器、通信链路、扬声器和麦克风，它们允许参与者查看远程参与者并与之通信。因为参与者可以在他们说话时看到彼此，所以视频会议系统可以提供比单独的书面或口头交流更好的对于所讨论的主题的理解。这样的视频会议系统还可以提供更容易的会议安排，因为并非所有参与者都需要共处。此外，视频会议系统可以通过消除旅行的需要来减少资源(例如，时间和金钱)浪费。传统的视频会议系统通常包括通信系统(例如，电话或VoIP系统等)、标准视频监视器(例如，CRT、等离子、HD、LED或LCD显示器)、相机、麦克风和扬声器。

发明内容

以下公开的实施方式涉及视频会议和遥现系统。至少一些实施方式提供三维遥现，而不使用头戴式显示器、耳机和/或任何其他类型的物理累赘。

在一个方面，一种遥现终端包括显示器，该显示器具有设置在像素网格前面的微透镜阵列。所述终端还可以包括图像传感器、红外发射器和红外深度传感器。所述终端还可以包括处理设备和存储指令的存储器。所述指令在被执行时可以使处理设备执行操作，所述操作包括：基于由图像传感器捕获的可见光确定图像数据，并且基于由红外发射器发出并由红外深度传感器捕获的红外光确定深度数据。所述操作还可以包括将深度数据和图像数据传达到远程的遥现终端，并接收远程图像数据和远程深度数据，所述远程图像数据和远程深度数据源自远程的遥现终端。所述操作还可以包括：使用可从第一观看位置通过微透镜阵列观看的像素网格的第一像素子集基于远程图像数据生成第一显示图像；并且，使用可从第二观看位置通过微透镜阵列观看的像素网格的第二像素子集基于远程图像数据和远程深度数据生成第二显示图像。

在一些实施方式中，可以生成第一显示图像和第二显示图像以具有基于所接收的深度数据来模拟视差的差异。在这方面，所述指令还可以使处理设备执行包括确定遥现终端的用户的位置的操作。可以例如基于深度数据和/或基于图像数据来确定遥现终端的用户的位置。例如，可以生成第一显示图像和第二显示图像以具有基于所确定的用户位置来模拟视差的差异。

在一些实施方式中，所述指令还可以使处理设备执行操作，所述操作包括：使用远程图像数据和远程深度数据以及遥现终端的用户的确定的位置在显示器上生成三维立体图像。

在可以与上述实施方式组合的一些实施方式中，所述指令还可以使处理设备执行包括在第一方向上生成第一显示图像的第一部分并且在第二方向上生成第二显示图像的第二部分的操作。例如，微透镜阵列中的微透镜可以被配置为跨一个或多个角度发出光和/或在一个或多个不同方向上显示不同的像素值。可以基于第一位置确定第一方向，并且可以基于第二位置确定第二方向。

在一些实施方式中，所述指令还可以使处理设备执行包括基于飞行时间方法确定深度数据的操作，该飞行时间方法测量在由红外发射器发出的第一红外光和在所发出的第一红外光的路径中的对象反射并由红外深度传感器捕获的第二红外光之间的相位偏移。