[发明专利]一种视频预测方法、装置、存储介质及终端有效
| 申请号: | 202010590741.5 | 申请日: | 2020-06-24 |
| 公开(公告)号: | CN111901673B | 公开(公告)日: | 2021-12-03 |
| 发明(设计)人: | 王苫社;常峥;张新峰;马思伟;高文 | 申请(专利权)人: | 北京大学 |
| 主分类号: | H04N21/44 | 分类号: | H04N21/44 |
| 代理公司: | 北京辰权知识产权代理有限公司 11619 | 代理人: | 付婧 |
| 地址: | 100871*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 视频 预测 方法 装置 存储 介质 终端 | ||
本发明公开了一种视频预测方法、装置、存储介质及终端,所述方法包括:根据时空信息、时域信息和空域信息生成并输出第一视频当前时刻的第一输出信息;通过视频解码器对第一输出信息进行解码并预测出当前时刻的视频预测片段;对预测出的各个时刻的视频预测片段进行拼接,得到并输出具有第二预设帧数的第二视频,第二视频为第一视频的预测视频、且第一预设帧数小于第二预设帧数,因此,采用本申请实施例,由于能够根据获取的具有第一预设帧数的第一视频,预测出具有第二预设帧数的第二视频,这样,无需在内存中存储第一视频的完整视频,提升了视频的加载速度,加载视频无需等待,提高了用户体验度。
技术领域
本发明涉及数字信号处理技术领域,特别涉及一种视频预测方法、装置、存储介质及终端。
背景技术
视频预测技术在多种领域都有很大的应用,如在视频编码领域中可以在很大程度上面节省码率,在视频分类领域中可以仅仅根据很短一段视频进行分类。视频预测问题同时又很复杂,因为视频数据不同于图片数据,除了每帧视频帧的空间特性外,视频帧之间还有很复杂的时域特性,近些年来,随着深度学习的迅猛发展,许多基于深度学习的视频预测方法被提出,大致可以被分成两类:基于卷积神经网络的方法,以及基于循环神经网络的方法。基于卷积神经网络的方法通过学习输入视频序列的内部特征来预测生成之后的少数视频帧,但是如果需要预测的视频帧比较长,这种方法的计算量会很大,并且卷积神经网络虽然对于视频空间特性的提取能力也比较弱,为了解决这些问题,基于循环神经网络的方法近些年来被广泛提出。
循环神经网络以特定记忆单元为基础(如LSTM,GRU等),可以高效地捕捉序列数据的时域信息,在自然语言处理领域已经得到了广泛的利用,视频可以看作是一种特殊的序列数据,因此,近些年来基于循环神经网络的视频预测方法已经被提出,通过将卷积核融合进记忆单元中,视频的时域信息和空域信息都可被很好地捕捉,然后当前的方法模型复杂性比较大,并且在预测长视频序列的任务中,仍然不能得到令人满意的结果。
现有的视频预测方法,无法做到仅仅根据当前视频的某一段视频就准确地预测出当前视频的其余视频片段。
发明内容
本申请实施例提供了一种视频预测方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
第一方面,本申请实施例提供了一种视频预测方法,所述方法包括:
获取具有第一预设帧数的第一视频;
对所述第一视频的各个视频片段同步进行时域处理和空域处理,得到并输出对应的时域信息和空域信息;
根据时空信息、所述时域信息和所述空域信息生成并输出所述第一视频当前时刻的第一输出信息;
通过视频解码器对所述第一输出信息进行解码并预测出当前时刻的视频预测片段;
对预测出的各个时刻的视频预测片段进行拼接,得到并输出具有第二预设帧数的第二视频,所述第二视频为所述第一视频的预测视频、且所述第一预设帧数小于所述第二预设帧数。
第二方面,本申请实施例提供了一种视频预测装置,所述装置包括:
视频获取模块,用于获取具有第一预设帧数的第一视频;
时域及空域同步处理模块,用于对所述视频获取模块获取的所述第一视频的各个视频片段同步进行时域处理和空域处理,得到并输出对应的时域信息和空域信息;
第一输出信息生成及输出模块,用于根据时空信息、所述时域及空域同步处理模块输出的所述时域信息和所述空域信息生成并输出所述第一视频当前时刻的第一输出信息;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京大学,未经北京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010590741.5/2.html,转载请声明来源钻瓜专利网。





