[发明专利]视频预测方法、训练方法、装置、计算机设备和存储介质在审
申请号: | 202111137655.X | 申请日: | 2021-09-27 |
公开(公告)号: | CN113869493A | 公开(公告)日: | 2021-12-31 |
发明(设计)人: | 马文男;徐麟 | 申请(专利权)人: | 上海眼控科技股份有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06T7/207;G06K9/00 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 王天庆 |
地址: | 200030 上海市徐汇*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 预测 方法 训练 装置 计算机 设备 存储 介质 | ||
本申请涉及一种视频预测模型训练方法、视频预测方法、装置、计算机设备和存储介质,通过获取图像序列,从图像序列获取顺序排列的第一训练图像序列和对应的第一标签图像,将第一训练图像序列输入至正向网络中进行视频预测,得到对应的第一预测图像,并根据第一标签图像与第一预测图像,计算正向网络的第一损失值;从图像序列获取倒序排列的第二训练图像序列和对应的第二标签图像,将第二训练图像序列输入至反向网络中进行视频预测,得到对应的第二预测图像,并根据第二标签图像与第二预测图像,计算反向网络的第二损失值;若第一损失值和第二损失值满足训练停止条件,则对正向网络停止训练,得到视频预测模型。提升预测图像或者视频的生成质量。
技术领域
本申请涉及计算机技术领域,特别是涉及一种视频预测模型训练方法、视频预测方法、装置、计算机设备和存储介质。
背景技术
随着深度学习的发展,深度学习算法在众多有监督学习问题上取得了卓越的成果,深度学习的研究逐渐从监督学习转移到强化学习、半监督学习以及无监督学习领域。视频预测算法,因其可以利用海量无标注自然数据去学习视频的内在表征,近年来得到快速发展。
传统技术中,视频预测从过去的图像视频学习各种特征,然后生成视频或者图像,这种方式是从过去信息到未来信息的一种映射。然而传统技术中视频预测生成的图像或者视频的质量有待提高。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提升视频预测生成的图像或者视频的质量的视频预测模型训练方法、视频预测方法、装置、计算机设备和存储介质。
一种视频预测模型训练方法,所述方法包括:
获取图像序列,所述图像序列中的各帧图像按照时间进行排列;
从所述图像序列获取顺序排列的第一训练图像序列和对应的第一标签图像,将所述第一训练图像序列输入至正向网络中进行视频预测,得到对应的第一预测图像,并根据所述第一标签图像与所述第一预测图像,计算所述正向网络的第一损失值;
从所述图像序列获取倒序排列的第二训练图像序列和对应的第二标签图像,将所述第二训练图像序列输入至反向网络中进行视频预测,得到对应的第二预测图像,并根据所述第二标签图像与所述第二预测图像,计算所述反向网络的第二损失值;
若所述第一损失值和所述第二损失值满足训练停止条件,则对所述正向网络停止训练,根据训练后的所述正向网络生成视频预测模型。
在其中一个实施例中,所述图像序列包括N帧训练图像;所述从所述图像序列获取顺序排列的第一训练图像序列和对应的第一标签图像,将所述第一训练图像序列输入至正向网络中进行视频预测,得到对应的第一预测图像,并根据所述第一标签图像与所述第一预测图像,计算所述正向网络的第一损失值,包括:
按照时间对所述图像序列中的前N-1帧训练图像进行顺序排列,得到所述第一训练图像序列,且第N帧训练图像作为所述第一标签图像;
将所述前N-1帧训练图像输入至正向网络中进行视频预测,得到第N帧预测图像;
根据所述第N帧训练图像与所述第N帧预测图像,计算所述第一损失值。
在其中一个实施例中,所述从所述图像序列获取倒序排列的第二训练图像序列和对应的第二标签图像,将所述第二训练图像序列输入至反向网络中进行视频预测,得到对应的第二预测图像,并根据所述第二标签图像与所述第二预测图像,计算所述反向网络的第二损失值,包括:
按照时间对所述图像序列中的后N-1帧训练图像进行倒序排列,得到所述第二训练图像序列,且第一帧训练图像作为所述第二标签图像;
将所述后N-1帧训练图像输入至反向网络中进行视频预测,得到第一帧预测图像;
根据所述第一帧训练图像与所述第一帧预测图像,计算所述第二损失值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海眼控科技股份有限公司,未经上海眼控科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111137655.X/2.html,转载请声明来源钻瓜专利网。