[发明专利]一种图像串流显示方法及设备

说明书

本申请涉及显示技术领域，提供一种图像串流显示方法及设备，VR设备实时向普通终端发送控制显示图像的位姿数据，并接收控制后的真实图像，根据接收的两帧相邻的真实图像的时间间隔和预设的补偿帧数，确定各帧待补偿图像对应的预测时间，并根据保存的历史位姿数据集确定各个预测时间对应的补偿位姿数据，结合当前显示的真实图像，预测相应的补偿图像并显示。由于根据历史位姿数据集确定的每个预测时间对应的补偿位姿数据，均位于两帧相邻的真实图像对应的位姿数据之间，使得两帧相邻的真实图像间的补偿图像符合实际的运动轨迹，当显示下一帧真实画面时，不会引起画面跳变，有效解决了串流显示时画面抖动的现象，进而提升用户体验。

技术领域

本申请涉及显示技术领域，尤其涉及一种图像串流显示方法及设备。

背景技术

虚拟现实(Virtual Reality，VR)技术利用计算机系统及传感器技术生成一种三维空间，为用户带来身临其境的沉浸式体验，已广泛应用于各行各业，特别是在游戏领域。

普通终端(例如手机、电视、电脑等)为了给用户带来沉浸式体验，可将自身画面串流到VR设备，由VR设备对接收的画面进行显示以实现3D效果，并且，VR设备一般配置有惯性测量单元(Inertial Measurement Unit，IMU)，可以测量佩戴者的头部位姿数据，VR设备将位姿数据发送给普通终端后可以对显示画面进行控制。

一般的，VR设备进行渲染显示时，GPU的渲染帧率一般低于屏幕的刷新率，因此，VR设备需要通过时间扭曲(Time Wrap)进行画面补偿，以减少由于渲染帧率低于刷新率带来的画面抖动。

目前，VR设备进行时间扭曲时，是基于上一帧真实图像和当前位姿预测的补偿图像。然而，在对串流的图像进行显示时，由于VR设备将位姿数据是通过网络传输给普通终端的，同时，普通终端的画面也是通过网络回传给VR设备的，传输过程中，头部会转动，因此，VR设备接收到下一帧真实图像时会存在一定的网络延时，下一帧真实图像对应的位姿数据，是补偿图像之前的位姿数据，这样，当VR设备用接收的真实图像替换补偿图像时，会存在画面跳变，反馈到人眼时就会产生画面抖动，造成头部眩晕。

发明内容

本申请实施例提供了一种图像串流显示方法及设备，用以减少画面抖动，进而减轻头部眩晕。

第一方面，本申请实施例提供一种串流画面显示方法，应用于VR设备，包括：

获取从普通终端接收的两帧相邻的真实图像的时间间隔，所述真实图像是由所述普通终端根据所述VR设备发送的位姿数据确定的；

根据所述时间间隔和预设的补偿帧数，确定各帧待补偿图像对应的预测时间；

针对每个预测时间，根据历史位姿数据集确定一个补偿位姿数据，所述补偿位姿数据位于所述两帧相邻的真实图像对应的位姿数据之间；

根据当前显示的真实图像和各个补偿位姿数据，预测相应的补偿图像并显示；

在接收到所述普通终端发送的下一帧真实图像时直接进行显示。

第二方面，本申请实施例提供一种VR设备，包括处理器、存储器、通信接口、显示屏，所述显示屏、所述通信接口、所述存储器与所述处理器通过总线连接：

所述存储器存储有计算机程序，所述处理器根据所述计算机程序执行以下操作：

通过所述通信接口，接收普通终端发送的两帧相邻的真实图像，并确定所述两帧相邻的真实图像的时间间隔，所述真实图像是由所述普通终端根据所述VR设备发送的位姿数据确定的；

根据所述时间间隔和预设的补偿帧数，确定各帧待补偿图像对应的预测时间；

针对每个预测时间，根据历史位姿数据集确定一个补偿位姿数据，所述补偿位姿数据位于所述两帧相邻的真实图像对应的位姿数据之间；