[发明专利]一种视频分类方法、装置、电子设备及存储介质在审
申请号: | 201911328274.2 | 申请日: | 2019-12-20 |
公开(公告)号: | CN113010736A | 公开(公告)日: | 2021-06-22 |
发明(设计)人: | 陈熊;蔡媛;樊鸿飞;汪贤;鲁方波;成超;张海斌;熊宝玉 | 申请(专利权)人: | 北京金山云网络技术有限公司 |
主分类号: | G06F16/75 | 分类号: | G06F16/75;G06F16/732;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 丁芸;马敬 |
地址: | 100085 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 视频 分类 方法 装置 电子设备 存储 介质 | ||
1.一种视频分类方法,其特征在于,包括:
获取待分类视频的N张视频帧;
从所述N张视频帧中确定S个目标图像分组,其中,每个所述目标图像分组均包括多张视频帧,不同所述目标图像分组中各视频帧之间的时序间隔不同;
将S个所述目标图像分组分别输入到预先训练的深度学习模型的S个特征提取网络中,获取各所述目标图像分组的特征向量,得到S个特征向量,其中,所述特征向量用于表征所述目标图像的空间特征和时序特征;
对所述S个特征向量进行特征融合,得到所述N张视频帧的分类特征向量,其中,所述分类特征向量包括所述N张视频帧的空间特征和时序特征;
根据所述N张视频帧的分类特征向量对所述待分类视频进行分类,得到所述待分类视频的分类结果。
2.根据权利要求1所述的方法,其特征在于,所述从所述N张视频帧中确定S个目标图像分组,包括:
按照不同的时序间隔对所述N张视频帧进行分组,得到每个时序间隔对应的分组结果,其中,所述每个时序间隔对应的分组结果包括多个图像分组;
分别从所述每个时序间隔对应的分组结果中随机选取一组图像分组,得到S个目标图像分组。
3.根据权利要求1所述的方法,其特征在于,所述按照不同的时序间隔对所述N张视频帧进行分组,得到每个时序间隔对应的分组结果,包括:
按照预设规则从所述N张视频帧的每一视频帧中截取预设规格的图像,得到截取后的N张视频帧,其中,所述预设规则为将所述N张视频帧作为一个视频片段,对同一视频片段在相同位置进行截取,对不同视频片段在不同位置进行截取;
按照不同的时序间隔对所述截取后的N张视频帧进行分组,得到每个时序间隔对应的分组结果。
4.根据权利要求3所述的方法,其特征在于,所述按照不同的时序间隔对所述截取后的N张视频帧进行分组,得到每个时序间隔对应的分组结果之前,所述方法还包括:
对所述截取后的N张视频帧中的各视频帧进行映射处理,得到所述截取后的N张视频帧中的各视频帧对应的浅层特征图。
5.根据权利要求1所述的方法,其特征在于,所述获取待分类视频的N张视频帧,包括:
在所述待分类视频中选取一视频帧,作为起始视频帧;
在所述待分类视频中,从所述起始视频帧开始向前或向后选取连续的N张视频帧。
6.根据权利要求1所述的方法,其特征在于,所述S个特征向量为相同维度的特征向量。
7.根据权利要求1所述的方法,其特征在于,在获取待分类视频的N张视频帧之前,所述方法还包括:
获取多个样本视频和待训练的网络模型,其中,所述样本视频包括N张视频帧,所述样本视频标记有视频分类结果;
选取一个样本视频,从选取的样本视频的N张视频帧中选取S个样本图像分组,其中,每个所述样本图像分组均包括多张视频帧,不同所述样本图像分组中各视频帧之间的时序间隔不同;
将S个所述样本图像分组分别输入到所述待训练的网络模型的S个特征提取网络中,获取各所述样本图像分组特征向量,得到S个样本特征向量;
利用所述待训练的网络模型对所述S个样本特征向量进行特征融合,得到样本分类特征向量;
利用所述待训练的网络模型对所述样本分类特征向量进行分类,得到预测分类结果;
根据选取的样本视频的预测分类结果及选取的样本视频标记的视频分类结果,计算所述待训练的网络模型的损失;
根据所述网络模型的损失对所述待训练的网络模型的参数进行调整;
选取样本视频对所述待训练的网络模型继续训练,直至所述待训练的网络模型的损失小于预设阈值,得到训练好的网络模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山云网络技术有限公司,未经北京金山云网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911328274.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种测量参考信号模式调整装置及方法
- 下一篇:一种超声波雾化器及电子烟