[发明专利]一种多场景的远程快速界面交互方法及装置

说明书

本发明涉及一种多场景的远程快速界面交互方案，包括：S100、建立本地设备与远程主机之间的关联，提供多个交互场景；S200、根据当前操作选择相应的交互场景，调整分块对象的划分方式，并且通过对比算法，在远程主机识别动态区域中的分块对象，提取并记录分块对象及其自身的图元的位置信息；S300、跟随本地设备的输入指令，计算界面图像中受该输入指令影响的分块对象或图元的变换参数；S400、根据本地设备的图像库和缓冲区，基于当前的界面图像以及受输入指令影响的图元的变换参数，在本地进行图元变换；S500、微调固定区域和动态区域的界面图像，使本地设备和远程主机的界面图像同步。本技术方案通过多场景有针对性地优化远程界面交互，提高操作流畅度。

技术领域

本发明涉及计算机通信领域，尤其涉及一种多场景的远程快速界面交互方法及装置。

背景技术

远程控制是计算机技术领域中常用的技术。例如在软件的开发和测试过程中，软件开发商通常需要在测试服务器或移动终端等远程主机上安装多台虚拟机。每台虚拟机上可以运行不同环境参数的操作系统实例，以验证软件在多种配置环境下的运行状况。此时，测试人员和开发人员可以通过远程登陆到上述远程主机以执行具体的测试任务。基于上述技术方案，由于相关人员与物理设备无需处于相同的工作场所，且远程登陆的方式可以方便相关人员验证、复现和回归软件开发过程中的各类问题，为软件的开发和测试工作带来了便利。

然而，目前各类远程控制的技术方案都依赖于本地设备与远程主机的网络连接状况。当客户端通过互联网访问虚拟机图形化控制台之后，将虚拟机刷新后的页面返回至客户端。由于刷新后的页面需要整体发送回客户端，所以当网络连接状况较差或多台本地设备并发连接到远程主机时，在本地设备上将出现明显的网络延时。这使得本地设备对远程主机的操作不流畅，用户不能从本地设备上实时获得其向远程主机上发出的指令，从而影响了远程控制的实际使用效果。

发明内容

本发明的目的是解决现有技术的不足，提供一种用于远程操作的多场景的快速界面交互方法及装置，能够获得提高本地设备远程操作远程主机流畅度的效果。

本发明的技术方案的第一方面为一种多场景的远程快速界面交互方法，包括以下步骤：

S100、建立本地设备与远程主机之间的界面图像关联的接口和通道，提供多个远程界面的交互场景；

S200、根据当前操作选择相应的交互场景，调整分块对象的划分方式，并且通过对比算法在远程主机识别动态区域中的分块对象，提取并记录分块对象及其自身的图元的位置信息，然后获取该分块对象及其自身的图元在图像库/缓冲区中的对应元素的ID；

S300、跟随本地设备的输入指令，计算界面图像中受该输入指令影响的分块对象或图元的位置及缩放的变换参数；

S400、根据本地设备的图像库和缓冲区，基于当前的界面图像以及受输入指令影响的图元的变换参数，在本地进行动态区域的图元的变换，并刷新界面图像；

S500、本地设备接收远程主机发送的图像、图元位置或图像库的ID数据，微调固定区域和动态区域的界面图像，使本地设备和远程主机的界面图像同步。

进一步，所述步骤S200包括：根据所选的界面交互场景和/或当前运行的应用程序种类，以预设的划分方式划分所述分块对象，该预设的划分方式包含横分动态区域、列分动态区域、文字分离或矢量图分离、播放影像分离的方式。

进一步，所述步骤S200包括：当远程主机接收到的场景类型选择为编辑类型，远程主机将直接对文字或字符进行识别并发送至本地设备。

进一步，所述步骤S200包括：当远程主机接收到的场景类型选择为浏览类型，则远程主机基于浏览区域中的文本的行高将界面图像中浏览区域图像进行横切或竖切，以形成多个能够被识别的对象并存储在图像库中。