[发明专利]多层查看系统和方法

说明书

多层查看系统包括静止成像仪和光束投射器，用于将物理层标记投射到物体的区域上。头戴件包括增强现实显示器，其足够透明以使佩戴头戴件的用户能够通过显示器直接查看所述物体，并显示叠加在所述物体上的注释。处理器被配置为接收相对于目标的选定位置以显示所述注释，通过识别获取的图像中的标记或物体上的标记的图像确定增强现实显示器的方向，计算用于在增强现实显示器上显示注释的显示位置，使得注释可以被用户感知为显示在选定定位，并且在计算出的显示位置处显示所述注释。

技术领域

本发明涉及多层查看系统和方法

背景技术

复杂设备或机械的维护、组装、服务或操作通常需要两个人工操作员之间的协作：位于“现场”的本地操作员，也就是说，物理上位于设备附近并且可以手动操纵设备的零件，以及可位于远程地点而无法直接与设备进行交互的远程操作员。两名操作员可能具有不同的专业知识水平，例如机器或设备件的操作员，或与专家(例如在远程地点)一起工作的在客户现场维修设备的本地技术人员，该专家帮助、指导、监督和/或批准操作。或者，两个操作员可以具有相同的专业知识水平(可能在专业知识的互补领域)，针对设备中的复杂问题执行联合故障排除会话(或头脑风暴)。

例如，技术人员(或现场操作员)可能会维修故障已停止产生的机械。技术人员可以尝试进行故障排除和维修程序，但可能需要来自位于远程呼叫中心的技术专家协助。在另一个实例中，本地技术人员可能需要执行需要高级人员批准的复杂维修。在获得此类批准之前，可能需要当地技术人员向例如远程监督员演示故障。在又一个实例中，新手操作员可能需要位于不同地点的经验丰富的操作员的远程指导。

目前，可以通过图像和视频进行通信来进行此类联合维护和修理。通信可以使参与者共享信息，例如设备视图、辅助材料(例如图表和说明)以及口头交流解释和指导。例如，现场操作员可以将设备图像发送给远程专家。远程专家可以向本地操作员提供口头指导和建议，其可以辅以例如图解说明和照片等支持性材料。如果本地操作员和远程专家之间在语言或文化上存在差异，则这种指导可能既耗时又困难。另外，人机工程学或其他约束条件，例如视频、音频或指示设备的处理，不良照明、噪声或其他因素等环境因素，可能会增加此过程的难度。

在这种联合维护、修理或操作期间，使远程参与者能够使用设备的在线远程显示视频在设备上标记定位通常非常有用，而本地参与者可以查看覆盖在设备上的该标记。例如，远程专家可以标记特定目标(例如，旋钮、螺钉、开关、电线或期望部件)，并指示现场参与者或操作员对目标执行特定操作(例如，转动旋钮、打开螺钉、操作开关、连接或断开电线或其他操作)。现场参与者可以使用增强现实(AR)显示器(例如，AR眼镜或其他透视式AR显示器)，而远程专家使用来自现场摄像头(例如，其安装在AR护目镜上)的视频产生标记以指定设备上的特定位置。然后，增强现实系统将在AR显示器上向现场操作员显示标记的图像，以使标记覆盖在“现实世界”目标上。例如，远程专家可以标记旋钮，该旋钮是设备的一部分，并且将在特定方向上旋转。使用AR系统，现场技术人员可以在显示器上看到覆盖或指向所讨论的旋钮的标记，可能带有要执行的操作的一些描述，例如旋钮的旋转方向。

AR的这种使用可能需要在AR层显示器上显示的标记与实际目标设备的定位之间精确对齐。远程专家产生的标记在现场操作人员看来应该覆盖目标设备，并且可以预期高精度地指向目标。即使轻微的未对准也会导致在设备的错误部分上执行操作。在AR系统中，以高精度获得这种对准需要复杂的过程，该过程通常考虑到AR显示器相对于设备的精确位置，以及AR显示器相对于用户的眼睛和/或瞳孔的相对位置。这样精确对准可能需要复杂的校准程序，和对准的精度可随时间下降。

发明内容