[发明专利]一种视频分类方法、设备及系统在审
申请号: | 201910866433.8 | 申请日: | 2019-09-12 |
公开(公告)号: | CN110751030A | 公开(公告)日: | 2020-02-04 |
发明(设计)人: | 刘卓龙 | 申请(专利权)人: | 厦门网宿有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62;G06N3/04;G06N3/08;G10L25/57;H04N21/233;H04N21/234;H04N21/439;H04N21/44 |
代理公司: | 11573 北京华智则铭知识产权代理有限公司 | 代理人: | 陈刚 |
地址: | 361000 福建省厦门市*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频片段 视频分类 视频特征 音频特征 视频 视频帧 音视频 设备及系统 特征整合 音频数据 分类 拼接 预测 申请 | ||
1.一种视频分类方法,其特征在于,所述方法包括:
将待分类视频划分为多个视频片段,并针对每个视频片段,提取所述视频片段中各个视频帧的帧特征,以及提取所述各个视频帧对应的音频数据的音频特征;
将提取的各个所述帧特征整合为所述视频片段的视频特征,并将所述视频特征和所述音频特征拼接为所述视频片段的音视频特征;
根据各个所述视频片段的音视频特征,预测所述待分类视频所属的视频种类。
2.根据权利要求1所述的方法,其特征在于,提取所述视频片段中各个视频帧的帧特征包括:
将所述视频片段中的各个视频帧转换为对应的位图图像;
分别提取各个所述位图图像的特征向量,并将提取的各个所述特征向量作为各个所述视频帧的帧特征。
3.根据权利要求1或2所述的方法,其特征在于,将提取的各个所述帧特征整合为所述视频片段的视频特征包括:
根据各个所述帧特征表征的特征向量构建特征矩阵,并将所述特征矩阵处理为一维数组;所述一维数组作为整合后的所述视频特征。
4.根据权利要求1所述的方法,其特征在于,提取所述各个视频帧对应的音频数据的音频特征包括:
将所述音频数据转换为量化数据,并提取所述量化数据的特征向量;所述量化数据的特征向量作为所述音频数据的音频特征。
5.根据权利要求1所述的方法,其特征在于,所述视频特征和所述音频特征均为一维数组;将所述视频特征和所述音频特征拼接为所述视频片段的音视频特征包括:
将两个一维数组拼接为一个一维数组,并将拼接得到的一维数组作为所述音视频特征。
6.根据权利要求1或5所述的方法,其特征在于,根据各个所述视频片段的音视频特征,预测所述待分类视频所属的视频种类包括:
根据视频片段在所述待分类视频中的播放顺序,依次将各个所述视频片段的音视频特征输入递归神经网络中;其中,所述递归神经网络在对当前视频片段的音视频特征进行处理时,将上一个视频片段的处理结果作为辅助数据,与所述当前视频片段的音视频特征一并处理,以得到所述当前视频片段的处理结果;
当所述递归神经网络对各个所述视频片段的音视频特征均完成处理后,将输出结果表征的视频种类作为所述待分类视频所属的视频种类。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述待分类视频的标题数据,并根据所述标题数据预测所述待分类视频所属的视频种类;
根据基于音视频特征得到的第一预测结果和基于标题数据得到的第二预测结果,确定所述待分类视频的最终视频种类。
8.根据权利要求7所述的方法,其特征在于,所述第一预测结果和所述第二预测结果均为概率向量;确定所述待分类视频的最终视频种类包括:
分别为两个概率向量分配各自的权重系数,并根据分配的所述权重系数对所述两个概率向量进行加权平均运算;
识别加权平均运算后的概率向量中概率值最大的目标向量元素,并将所述目标向量元素表征的视频种类作为所述待分类视频的最终视频种类。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
若所述待分类视频的最终视频种类与所述待分类视频的实际视频种类不一致,对所述权重系数进行调整,以使得根据调整后的权重系数确定的最终视频种类与所述实际视频种类保持一致。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若预测得到的所述待分类视频的视频种类与所述待分类视频的实际视频种类不一致,对各个所述视频片段中包含的视频帧的数量进行调整,以使得根据调整后的视频帧的数量预测得到的视频种类与所述实际视频种类保持一致。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于厦门网宿有限公司,未经厦门网宿有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910866433.8/1.html,转载请声明来源钻瓜专利网。