[发明专利]用于指示屏幕外兴趣点的图形用户界面

说明书

本发明涉及一种在设备上显示增强现实AR图形用户界面GUI的方法。该方法包括基于相机获取的视觉数据和与PoI的位置相关的信息检测(402)位于屏幕外的PoI。然后，对于每个检测到的屏幕外PoI，确定(403)以PoI为中心的预定形状的区带，该区带至少部分位于屏幕上。确定与各个区带的边缘的交叉点相对应的屏幕上顶点，并基于屏幕上顶点确定(405，406，407)连续曲线。通过叠加视觉数据和连续曲线来显示GUI，其中在视觉数据的获取期间实时地执行操作。

技术领域

本发明涉及人机交互的增强，特别是但不限于，涉及在使用提供增强现实的手持设备检测兴趣点(PoI)的背景中的人机交互的增强。

背景技术

增强现实(AR)在于真实世界环境的交互体验，其中，存在于真实世界中的对象(诸如兴趣点(PoI))被计算机生成的感知信息增强，有时跨越多种感觉形态，包括视觉、听觉、触觉、体觉和嗅觉。接下来，考虑使用视觉信息的增强现实的背景。

在操作者将工业机器与增强现实设备相结合的工业背景中，例如为了维护，用户绕着机器行走，站在不同的距离和不同的角度，并寻找关于PoI的线索。这要求用户能够容易地检测到PoI并且被动态地引导到PoI。

这不仅产生了如何显示关于PoI的位置信息的问题，还产生了如何调整设备的图形用户界面(GUI)以反映由于用户所处理的设备与要为其显示PoI的机器的交互而引起的变化的问题。

手持设备的屏幕尺寸有限，并且优选以相对较大的比例(例如放大)显示信息，以便用户可读。然而，屏幕的显示区域可能太小而无法显示完整的兴趣区域，并且一些兴趣点可能位于显示区域之外。

如图1a所示，根据现有技术的第一种解决方案提出显示分别以屏幕外PoI为中心的圆在屏幕上的部分。

若干PoI 100.1至100.4位于屏幕外。这意味着PoI在设备101的相机的视野之外。

该设备还包括屏幕102，在屏幕102上显示第一GUI 103。如图1a所示，GUI 103使用分别以各个PoI 100.1-100.4为中心的圆在屏幕上的部分来表示屏幕外PoI 100.1-100.4。然而，对于高密度的PoI，圆的部分是重叠的，使得用户难以理解关于屏幕外PoI的信息。然后，用户需要对PoI位于何处做出假设，这将检测变成漫长、恼人和麻烦的体验。

如图1b所示，根据现有技术的第二种解决方案类似于第一种解决方案，但是替代地显示了包括圆的三角形部分的GUI 104。虽然这确实减少了重叠，但并没有完全消除重叠。特别是，在PoI的密度高的情况下，重叠仍然可能发生，因此并非在每种情况下都消除了与第一种解决方案相同的缺点。

图1c示出了根据现有技术的第三种解决方案。在屏幕边缘上显示包括表示屏幕外区域的区带(zone)的GUI 105。屏幕外PoI被表示为区带中的各个点106.1-106.4。然而，在高密度的情况下，该区带可能点太多，使用户难以理解屏幕外信息。因此，没有克服前两种解决方案的缺点。

因此，前三种现有技术解决方案依赖于没有PoI聚集的屏幕外可视化系统。

进一步的解决方案提出聚集屏幕外PoI。

例如，根据现有技术的第四种解决方案提出了在具有PoI聚集的情况下在设备屏幕上的屏幕外可视化。参考图1d说明了第四种解决方案。

根据第四种解决方案，屏幕外的真实空间被划分为单元，并且位于相同单元中的PoI被聚集。

例如，第一单元111.1包括屏幕外PoI 110.1-110.4，第二单元111.2包括屏幕外PoI 110.5和110.6，并且第三单元111.3包括PoI 110.7、110.8和110.9。