[发明专利]视频预测方法、训练方法、装置、计算机设备和存储介质在审
申请号: | 202111137655.X | 申请日: | 2021-09-27 |
公开(公告)号: | CN113869493A | 公开(公告)日: | 2021-12-31 |
发明(设计)人: | 马文男;徐麟 | 申请(专利权)人: | 上海眼控科技股份有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06T7/207;G06K9/00 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 王天庆 |
地址: | 200030 上海市徐汇*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 预测 方法 训练 装置 计算机 设备 存储 介质 | ||
1.一种视频预测模型训练方法,其特征在于,所述方法包括:
获取图像序列,所述图像序列中的各帧图像按照时间进行排列;
从所述图像序列获取顺序排列的第一训练图像序列和对应的第一标签图像,将所述第一训练图像序列输入至正向网络中进行视频预测,得到对应的第一预测图像,并根据所述第一标签图像与所述第一预测图像,计算所述正向网络的第一损失值;
从所述图像序列获取倒序排列的第二训练图像序列和对应的第二标签图像,将所述第二训练图像序列输入至反向网络中进行视频预测,得到对应的第二预测图像,并根据所述第二标签图像与所述第二预测图像,计算所述反向网络的第二损失值;
若所述第一损失值和所述第二损失值满足训练停止条件,则对所述正向网络停止训练,根据训练后的所述正向网络生成所述视频预测模型。
2.根据权利要求1所述的方法,其特征在于,所述图像序列包括N帧训练图像,N为大于2的正整数;所述从所述图像序列获取顺序排列的第一训练图像序列和对应的第一标签图像,将所述第一训练图像序列输入至正向网络中进行视频预测,得到对应的第一预测图像,并根据所述第一标签图像与所述第一预测图像,计算所述正向网络的第一损失值,包括:
按照时间对所述图像序列中的前N-1帧训练图像进行顺序排列,得到所述第一训练图像序列,且第N帧训练图像作为所述第一标签图像;
将所述前N-1帧训练图像输入至正向网络中进行视频预测,得到第N帧预测图像;
根据所述第N帧训练图像与所述第N帧预测图像,计算所述第一损失值。
3.根据权利要求2所述的方法,其特征在于,所述从所述图像序列获取倒序排列的第二训练图像序列和对应的第二标签图像,将所述第二训练图像序列输入至反向网络中进行视频预测,得到对应的第二预测图像,并根据所述第二标签图像与所述第二预测图像,计算所述反向网络的第二损失值,包括:
按照时间对所述图像序列中的后N-1帧训练图像进行倒序排列,得到所述第二训练图像序列,且第一帧训练图像作为所述第二标签图像;
将所述后N-1帧训练图像输入至反向网络中进行视频预测,得到第一帧预测图像;
根据所述第一帧训练图像与所述第一帧预测图像,计算所述第二损失值。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述反向网络与所述正向网络采用同一网络架构,且所述反向网络与所述正向网络均采用调制分类Mcnet模型。
5.根据权利要求1所述的方法,其特征在于,按照以下公式计算所述第一损失值和所述第二损失值:
其中,L1为第一损失值,L2为第二损失值,Xi为预测点的像素值,为平均像素值,n为像素点的个数,Yi为预测点的像素值,为平均像素值。
6.一种视频预测方法,其特征在于,所述方法包括:
获取待预测图像序列;
将所述待预测图像序列输入至权利要求1至6中任一项训练得到的视频预测模型进行视频预测,得到对应的目标图像,所述目标图像的数量为至少一个。
7.一种视频预测模型训练装置,其特征在于,所述装置包括:
图像序列获取模块,用于获取图像序列,所述图像序列中的各帧图像按照时间进行排列;
正向网络训练模块,用于从所述图像序列获取顺序排列的第一训练图像序列和对应的第一标签图像,将所述第一训练图像序列输入至正向网络中进行视频预测,得到对应的第一预测图像,并根据所述第一标签图像与所述第一预测图像,计算所述正向网络的第一损失值;
反向网络训练模块,用于从所述图像序列获取倒序排列的第二训练图像序列和对应的第二标签图像,将所述第二训练图像序列输入至反向网络中进行视频预测,得到对应的第二预测图像,并根据所述第二标签图像与所述第二预测图像,计算所述反向网络的第二损失值;
模型确定模块,用于在所述第一损失值和所述第二损失值满足训练停止条件的情况下,对所述正向网络停止训练,根据训练后的所述正向网络生成所述视频预测模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海眼控科技股份有限公司,未经上海眼控科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111137655.X/1.html,转载请声明来源钻瓜专利网。