[发明专利]用于远程设备的用户接口虚拟化

说明书

本公开涉及用于远程设备的用户接口虚拟化。用户接口虚拟化描述一种用于提供给用户从一个计算设备访问另一计算设备的技术，而同时将一种计算机的用户接口样式的工效学转变为另一计算机的用户接口样式的工效学。在远程桌面上运行的代理与在客户端机器上运行的对应客户端协作，该对应客户端接受“触摸滑动”样式的输入。代理和客户端交换用户接口元数据和用户接口输入事件，并转换交换的信息以(在客户端机器处)提供本机图形用户接口元素并且(在远程桌面处)提供模拟的用户动作。在远程桌面上运行的代理可以使用接口交互API或库来灵敏地编程操控远程桌面的用户接口并充当对应客户端的代理。

相关申请的交叉引用

本申请要求于2012年4月25日提交的US61/638,469、以及2012年10月8日提交的US13/646,933的权益，其整体内容通过引用并入于此。

本发明涉及于2011年8月25日提交的序列号为13/217,484、名称为“NativeViewer Use for Service Results from a Remote Desktop”(代理卷号为第A732号)的美国专利申请，其整体内容通过引用并入于此。本发明还涉及于2012年1月31日提交的序列号为13/362,854、名称为“Multi-Touch Interface Gestures for Keyboard and/or MouseInputs”(代理卷号为第A581.C1号)的美国专利申请，其整体内容通过引用并入于此。

技术领域

本发明涉及远程设备的用户接口虚拟化。

背景技术

基于服务器的计算允许关于服务器计算系统位于远程的联网的客户端设备访问服务器上的计算资源。例如，客户端设备可以运行桌面远程客户端软件和硬件，该桌面远程客户端软件和硬件使用诸如远程桌面协议(RDP)、虚拟网络计算(VNC)或者因特网上的个人计算机协议(PCoIP)之类的远程桌面协议来远程地访问桌面。桌面远程客户端软件显示由在(例如，虚拟机中的)服务器计算系统处运行的操作系统和应用生成的图形用户接口的图像。术语“桌面”可以指代由终端用户作为(对用户而言)本地桌面或工作站计算机而访问的虚拟机或物理系统。术语“桌面”可以指代如下人机接口环境，通过该人机接口环境用户可以启动、与之交互并且管理应用、设置和数据。远程桌面可由使用远程桌面协议和桌面远程客户端的用户访问。客户端设备通常具有输入和输出设备的本地集合(例如，显示器、键盘、鼠标)，并且将诸如键盘或鼠标输入之类的用户输入发送到远程系统以在其处理，以及使用I/O设备的本地集合来接收用于向用户呈现的显示和其它数据(例如，声音)。

然而，带有触屏的客户端设备的用户在通过远程显示协议与传统的基于桌面的应用(例如Microsoft 应用)和桌面交互时面临数个挑战。一个挑战涉及触屏设备和远程桌面之间的网络连接延迟，这经常引起停机或不安的用户体验。另一挑战涉及尝试从并非设计用于传统的“点选式(point-and-click)”交互、而是用于触屏手势和“手指滑动(finger swipe)”样式的交互的触屏设备来远程控制常规的“点选式”驱动接口(例如，接口)。

为了解决这些挑战，现有技术中已知例如通过自动地调整远程桌面的字体大小来修改由触屏设备控制的远程桌面。然而，这些大型的表面化的改变仅修改从远程服务器接收的显示内容，并不能减少菜单导航和用户反馈方面的延迟，并且仍然要求用户通过“点选式”样式接口来导航桌面应用。