[发明专利]基于抽帧控制和时间同步算法的远程显示降延迟方法

说明书

本发明公开了一种基于抽帧控制和时间同步算法的远程显示降延迟方法，首先保证主机端有足够数量的备选帧即要求主机端刷新频率Nsubgt;1/subgt;大于客户端刷新频率Nsubgt;2/subgt;，并通过时间同步算法不断对主机端与客户端之间的时间差diff以及数据传输往返时长rtt进行更新，进而由主机端通过抽帧控制方法从每1秒的Nsubgt;1/subgt;帧图像中抽取合适的Nsubgt;2/subgt;帧发送到客户端上。本发明通过抽帧控制及时间同步算法将显示时间控制在显示器每1帧的刷新间隔内，可以认为将远程显示延迟降低到了与本地显示一致的水平，有效避免了远程显示所带来的延迟影响用户的操作体验。

技术领域

本发明属于内网环境下远程画面传输显示技术领域，具体涉及一种基于抽帧控制和时间同步算法的远程显示降延迟方法。

背景技术

远程显示技术，是指经由网络将图像内容从远端设备(PC主机)提供给显示器并加以呈现的方法，该方法能够充分调动和利用资源，能够极大程度上降低客户端使用时受时间、空间的限制，降低对本地硬件的依赖，所以在云计算服务领域变得日益流行起来。

远程显示先后要经历抓屏、画面编码、网络传输和画面解码的过程，每一个环节均有时间开销，其中还存在着误差和阻塞，考虑到在一些特殊场景下，操作者对画面即时响应的要求非常高(如进行第一人称射击游戏)，为使操作者感觉不到明显迟滞，这就要求远程显示的整体延时越低越好。目前主流的利用远程显示技术的相关产品都是通过外网进行图像传输，在绝大多数的网络环境下天然有着较大的延时(50ms左右)，而图像传输所需的编解码能力可以通过两端选用高性能硬件并优化编解码技术方案得以提升，总体能控制在3.5ms左右，前者远大于后者。这种情况下，网络因素成为影响远程显示画面效果和操作反馈的主要原因，所以网络优化是此类产品当前的主要改进方向。

现有的远程系统中对图像传输采用的优化技术通常有如下两大分类：

(1)利用操作系统自身的特点，发送的图像数据为该系统绘图指令或是控件矢量描述信息。该技术因需依赖底层操作系统的实现，因此通用性不强，如windows的RDP，被控端现仅只有windows支持；同时对于无法用简单的绘图指令或是矢量信息描述的图像信息，例如网页中的图片和视频等，如果不结合视频压缩算法其传输的数据量将非常大，因此这类应用通常仅适用于内网等宽带应用场景下。

(2)利用通用的视频压缩算法如H.264、H.265等对图像进行压缩。这些算法通常将图像数据划分为特定大小的分块，然后将待压缩帧与关键帧I帧或是前向帧P帧查找出其帧间运动矢量，但因桌面清晰度通常比较高，因而记录分块运动矢量的数据也比较大；同时I帧通常是固定时间序列来确定，也既是相隔固定帧后将该帧设置为I帧，而远程桌面的背景变化无法由时间确定，以上这些都会导致如浏览网页上下滚动、窗口最大最小化时，图像压缩率效果差。

相比之下，当网络选择通过局域网传输时，网络延时可以控制在1ms左右，也就是说理论上总体延迟在5ms以内。但实际上延迟比这高很多，因为上端的数据还需要考虑一项，即显示器的延迟；以60Hz的显示屏为例，60Hz屏的意思是屏幕的图像每1秒钟重绘60次，也就是每16.6ms刷新1次，那对于主机端抓屏来说，每隔16.6ms才能抓取到主机的图像数据，对客户端同样如此，每隔16.6ms才能更新图像到显示屏上。当客户端解析完毕接收的画面数据，而显示屏没有到达下一次刷新的时间点、或是已经错过了上一次刷新的时间点，这就会带来强制的等待延迟(阻塞时间)；而根据主机和客户端的刷新间隔，延迟情况也不一样，哪怕编解码时间很短，最大的延迟时间也有可能达到20ms。

发明内容

鉴于上述，本发明提供了一种基于抽帧控制和时间同步算法的远程显示降延迟方法，在网络传输和编解码技术耗时较低的前提，使得整体的远程显示延迟达到和本地显示近乎一致的水平。