[发明专利]一种云手机的画面显示方法

权利要求书

1.一种云手机的画面显示方法，其特征在于，包括如下步骤：

步骤1，在云端服务器上虚拟出多个分辨率为R的云手机，并在各个云手机上均安装目标应用A；

步骤2，解析应用A获取控件列表，生成伪随机事件流脚本；

步骤3，在分辨率为R的云手机上运行应用A，执行对应的伪随机事件流脚本，并以最大采样率获取原始帧序列F；

步骤4，将原始帧序列F输入至深度学习神经网络模型中，并设置目标分辨率为R’，输出为预测帧序列F’，再计算出原始帧序列F与预测帧序列F’的帧序列相似性，并根据帧序列相似性确定出图像插值模型；

步骤5，将分辨率为R的原始序列帧F拆分为奇数帧Fo和偶数帧Fe；

步骤6，将奇数帧Fo中相邻两帧依次输入至深度学习神经网络模型中，输出为预测偶数帧序列Fe’，将偶数帧Fe中相邻两帧依次输入至深度学习神经网络模型中，输出为预测奇数帧序列Fo’；

步骤7，将预测奇数帧序列Fo’和预测偶数帧序列Fe’合并为预测帧序列F’’，再计算出原始帧序列F与预测帧序列F’’的帧序列相似性，并根据帧序列相似性确定出视频插帧模型；

步骤8，获取终端C的屏幕分辨率Rc和屏幕刷新率Fc，并根据屏幕分辨率Rc和屏幕刷新率Fc下载对应的图像插值模型和视频插帧模型；

步骤9，在云手机实际运行应用A时，获取视频分辨率和视频帧率，使用对应的图像插值模型和视频插帧模型进行插值生成优化视频帧序列；

步骤10，在终端设备的显示屏上渲染优化视频帧序列；

步骤4中，根据帧序列相似性确定出图像插值模型的具体步骤为：

设定图像相似性阈值，并判断帧序列相似性是否高于图像相似性阈值；若高于，则将此时的深度学习神经网络模型作为应用A下的分辨率R转换为R’的图像插值模型；

步骤7中，根据帧序列相似性确定出视频插帧模型的具体步骤为：

设定视频相似性阈值，并判断帧序列相似性是否高于视频相似性阈值；若高于，则此时的深度学习神经网络模型即为应用A下的视频插帧模型；

步骤9中，使用对应的图像插值模型和视频插帧模型进行插值生成优化视频帧序列的具体步骤为：

将原始图像中四邻像素RGBY信息输入到图像插值模型中，得到插值像素的RGBY信息；

将原始像素与插值像素合并生成优化图像；

将前后两帧图像中同一位置像素RGBY信息输入到视频插值模型中，得到插值像素的RGBY信息；

将所有插值像素的RGBY信息合并生成插值图像，再将原始图像与插值图像合并生成优化视频帧序列。

2.根据权利要求1所述的云手机的画面显示方法，其特征在于，步骤4中，计算原始帧序列F与预测帧序列F’的帧序列相似性的具体步骤为：

首先对比原始帧序列F和预测帧序列F’的每一帧图像，采用高斯加权计算出每一帧图像像素值的均值、方差以及协方差；

然后再计算出每一帧图像的结构相似度，再将全部帧的结构相似度的平均值作为帧序列相似性。

3.根据权利要求1所述的云手机的画面显示方法，其特征在于，步骤7中，计算原始帧序列F与预测帧序列F’’的帧序列相似性的具体步骤为：

首先对比原始帧序列F和预测帧序列F’’的每一帧图像，采用高斯加权计算每一帧图像像素值的均值、方差以及协方差；

然后再计算出每一帧图像的结构相似度，再将全部帧的结构相似度的平均值作为帧序列相似性。

4.根据权利要求1所述的云手机的画面显示方法，其特征在于，步骤9中，在云手机实际运行应用A前，先对各个模型进行测试：

服务器将对应的测试视频、图像插值模型和视频插帧模型打包并生成下载链接，云手机通过链接下载压缩包，解压后将测试视频、图像插值模型和视频插帧模型缓存到本地；

对图像插值模型和视频插帧模型进行排列组合，使用测试视频帧对排列组合进行测试，记录生成优化测试帧的时间，即为该组合的推理延迟；

删除推理延迟高于延时阈值的图像插值模型和视频插帧模型组合。