[发明专利]一种图像帧预测方法、装置及头显设备

说明书

本发明实施例提供了一种图像帧预测方法、装置及头显设备。所述图像帧预测方法包括：对相邻两源帧进行帧间运动矢量计算，得到所述相邻两源帧的帧运动矢量，所述源帧为已渲染的帧；根据至少两个帧运动矢量进行帧间运动矢量预测，得到帧运动矢量预测值；根据所述帧运动矢量预测值对与所述帧运动矢量预测值最近的源帧进行处理，得到预测帧。

技术领域

本发明涉及图像处理领域，具体涉及一种图像帧预测方法、装置及头显设备。

背景技术

AR/VR(增强现实/虚拟现实)产品要求分辨率高、帧频快，且要求延时低。在一定延时要求下，复杂场景、高帧率对图形渲染与数据传输有很高要求，而庞大的数据处理与渲染工作，给GPU(图形处理器)、显卡、AP(应用处理器)或无线数据传输，都带来了巨大的技术挑战。

在渲染时，若某一帧数据渲染性能不足，如图形内容较复杂渲染时间过长，而输出帧率又较高，GPU没有按帧率及时渲染完图像提供显示，下一帧数据就会被丢掉，使得HMD(头戴式可视设备)就会显示与上一帧数据相同的图像数据，造成顿挫感或显示异常。

现有方案中有基于运动补偿的帧率提升算法，实现框图如图1所示，对先前的原始帧和当前的原始帧进行运动估计，得到运动数据后进行矢量处理，得到运动矢量后进行运动补偿，最终得到插入帧。

基于运动补偿的帧率提升算法若直接用于AR/VR帧率提升(如60Hz 至120Hz)，会引入较大延时(至少接近2帧)，是AR/VR无法接受的。

发明内容

本发明实施例提供一种图像帧预测方法、装置及头显设备，降低时延。

一方面，本发明实施例提供了一种图像帧预测方法，包括：

对相邻两源帧进行帧间运动矢量计算，得到所述相邻两源帧的帧运动矢量，所述源帧为已渲染的帧；

根据至少两个帧运动矢量进行帧间运动矢量预测，得到帧运动矢量预测值；

根据所述帧运动矢量预测值对与所述帧运动矢量预测值最近的源帧进行处理，得到预测帧。

可选地，所述方法还包括：将所述预测帧插到与所述帧运动矢量预测值最近的源帧之后，所述与帧运动矢量预测值最近的源帧为计算所述帧运动矢量预测值过程中使用的最后一个源帧。

可选地，所述对相邻两源帧进行帧间运动矢量计算，得到所述相邻两源帧的帧运动矢量，包括：

将第一源帧分成多个单位块；

在第二源帧中找到所述第一源帧中每个单位块对应的匹配块，所述第二源帧为所述第一源帧时序上的后一帧；

计算所述第一源帧中每个单位块与其对应的匹配块之间的运动矢量，得到所述第一源帧和所述第二源帧间的帧运动矢量。

可选地，所述根据至少两个帧运动矢量进行帧间运动矢量预测，得到帧运动矢量预测值，包括：

采用以下方式之一得到帧运动矢量预测值：

根据帧运动矢量和位移规律，类比推测出帧运动矢量预测值；

根据卡尔曼滤波算法对至少两个帧运动矢量进行计算，得到帧运动矢量预测值；

采用训练得出的人工神经网络算法模型预测得到帧运动矢量预测值。

可选地，所述根据所述帧运动矢量预测值对与所述帧运动矢量预测值最近的源帧进行处理，得到预测帧，包括：

将计算所述帧运动矢量预测值过程中使用的最后一个源帧中的单位块中的像素按照所述帧运动矢量预测值进行位移，得到预测帧。

另一方面，本发明实施例还提供了一种图像帧预测装置，其特征在于，包括：帧运动矢量计算单元、运动矢量预测单元和预测帧构建单元，其中：