[发明专利]一种云手机的画面显示方法

说明书

本发明公开了一种云手机的画面显示方法，步骤包括：虚拟多个云手机并安装目标应用；生成伪随机事件流脚本；执行伪随机事件流脚本并获取原始帧序列F；根据帧序列相似性确定出图像插值模型；拆分获得奇数帧Fo和偶数帧Fe；学习输出为预测偶数帧序列Fe’和预测奇数帧序列Fo’；根据帧序列相似性确定出视频插帧模型；下载图像插值模型和视频插帧模型；使用图像插值模型和视频插帧模型进行插值；在终端设备的显示屏上渲染优化视频帧序列。该云手机的画面显示方法通过自动化的方式训练模型，降低标记人员成本，提高训练准确性，通过利用手机终端的NPU计算资源，降低服务器界面渲染所需GPU资源，降低整体延迟和网络带宽。

技术领域

本发明涉及一种图像处理方法及显示方法，尤其是一种云手机的画面显示方法。

背景技术

随着移动互联网技术的发展，云手机受到了广泛关注；云手机是一种以云计算为基础的游戏方式，此处的云计算是一种基于移动互联网的计算方式。在云手机场景下，应用并不在用户终端，而是在云端服务器中运行；由云端服务器将应用画面编码为视频流，通过移动网络传输给用户终端进行解码播放。用户终端无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力以及获取并发送用户的输入指令至云端服务器的能力即可。

现有的云手机在使用过程中，由于采用了划分区域的方式来提升渲染效率，但区域确定具有主观性，需要大量人工参与模型训练才能得到较好的渲染效果，此外还需要在云端对图像进行动态编码，使得计算复杂度增加，导致延迟变高。

发明内容

发明目的：提供一种云手机的画面显示方法，能够有效提高应用的响应效率，降低画面显示的延时。

技术方案：本发明所述的云手机的画面显示方法，包括如下步骤：

步骤1，在云端服务器上虚拟出多个分辨率为R的云手机，并在各个云手机上均安装目标应用A；

步骤2，解析应用A获取控件列表，生成伪随机事件流脚本；

步骤3，在分辨率为R的云手机上运行应用A，执行对应的伪随机事件流脚本，并以最大采样率获取原始帧序列F；

步骤4，将原始帧序列F输入至深度学习神经网络模型中，并设置目标分辨率为R’，输出为预测帧序列F’，再计算出原始帧序列F与预测帧序列F’的帧序列相似性，并根据帧序列相似性确定出图像插值模型；

步骤5，将分辨率为R的原始序列帧F拆分为奇数帧Fo和偶数帧Fe；

步骤6，将奇数帧Fo中相邻两帧依次输入至深度学习神经网络模型中，输出为预测偶数帧序列Fe’，将偶数帧Fe中相邻两帧依次输入至深度学习神经网络模型中，输出为预测奇数帧序列Fo’；

步骤7，将预测奇数帧序列Fo’和预测偶数帧序列Fe’合并为预测帧序列F’’，再计算出原始帧序列F与预测帧序列F’’的帧序列相似性，并根据帧序列相似性确定出视频插帧模型；

步骤8，获取终端C的屏幕分辨率Rc和屏幕刷新率Fc，并根据屏幕分辨率Rc和屏幕刷新率Fc下载对应的图像插值模型和视频插帧模型；

步骤9，在云手机实际运行应用A时，获取视频分辨率和视频帧率，使用对应的图像插值模型和视频插帧模型进行插值生成优化视频帧序列；

步骤10，在终端设备的显示屏上渲染优化视频帧序列。

进一步的，步骤4中，计算原始帧序列F与预测帧序列F’的帧序列相似性的具体步骤为：

首先对比原始帧序列F和预测帧序列F’的每一帧图像，采用高斯加权计算出每一帧图像像素值的均值、方差以及协方差；

然后再计算出每一帧图像的结构相似度，再将全部帧的结构相似度的平均值作为帧序列相似性。