[发明专利]视频分类方法、装置、计算机设备及存储介质在审
申请号: | 202310287019.8 | 申请日: | 2023-03-22 |
公开(公告)号: | CN116229329A | 公开(公告)日: | 2023-06-06 |
发明(设计)人: | 杨志雄;雷鑫华;杨延展;李永会 | 申请(专利权)人: | 抖音视界有限公司 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06V10/764;G06V10/75 |
代理公司: | 北京中知法苑知识产权代理有限公司 11226 | 代理人: | 赵吉阳 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 分类 方法 装置 计算机 设备 存储 介质 | ||
1.一种视频分类方法,其特征在于,包括:
获取待检测视频、和所述待检测视频的非内容属性信息;
对所述待检测视频进行特征提取,生成与所述待检测视频内容匹配的多种模态的特征数据;以及基于分类任务的任务内容,对所述非内容属性信息进行编码,生成属性特征数据;
基于所述多种模态的特征数据和所述属性特征数据,确定所述待检测视频在所述分类任务下的分类结果。
2.根据权利要求1所述的方法,其特征在于,所述非内容属性信息包括以下至少一种:点赞数、点踩数、评论数、转发数、收藏数、分享数、视频时长、播放次数、完播率。
3.根据权利要求1或2所述的方法,其特征在于,所述基于分类任务的任务内容,对所述非内容属性信息进行编码,生成属性特征数据,包括:
基于所述分类任务的任务内容,确定所述非内容属性信息中各种属性信息的权重;
基于所述非内容属性信息中各种属性信息的权重,对所述非内容属性信息进行编码,生成属性特征数据。
4.根据权利要求1或2所述的方法,其特征在于,所述基于分类任务的任务内容,对所述非内容属性信息进行编码,生成属性特征数据,包括:
基于所述分类任务的任务内容,从所述非内容属性信息包括的各种属性信息中,选取目标属性信息;
对选取的所述目标属性信息进行编码,生成属性特征数据。
5.根据权利要求1所述的方法,其特征在于,所述基于所述多种模态的特征数据和所述属性特征数据,确定所述待检测视频在所述分类任务下的分类结果,包括:
将所述多种模态的特征数据和所述属性特征数据进行拼接,生成第一拼接特征数据;
利用第一全连接处理层和第二全连接处理层,依次对所述第一拼接特征数据进行处理,生成所述待检测视频在所述分类任务下的分类结果。
6.根据权利要求1所述的方法,其特征在于,所述基于所述多种模态的特征数据和所述属性特征数据,确定所述待检测视频在所述分类任务下的分类结果,包括:
利用第一全连接处理层,分别对所述多种模态的特征数据、和所述属性特征数据进行处理,生成处理后的多种模态的特征数据、和处理后的属性特征数据;
将所述处理后的多种模态的特征数据、和所述处理后的属性特征数据进行拼接,生成第二拼接特征数据;
利用第二全连接处理层,对所述第二拼接特征数据进行处理,生成所述待检测视频在所述分类任务下的分类结果。
7.根据权利要求1所述的方法,其特征在于,所述基于所述多种模态的特征数据和所述属性特征数据,确定所述待检测视频在所述分类任务下的分类结果,包括:
利用第一全连接处理层,分别对所述多种模态的特征数据、和所述属性特征数据进行处理,生成处理后的多种模态的特征数据、和处理后的属性特征数据;
利用第二全连接处理层,分别对所述处理后的多种模态的特征数据、和处理后的属性特征数据进行处理,生成每种模态的特征数据对应的中间分类结果、和所述属性特征数据对应的中间分类结果;
将所述多种模态的特征数据分别对应的所述中间分类结果、和所述属性特征数据对应的所述中间分类结果进行加权融合,生成所述待检测视频在所述分类任务下的分类结果。
8.根据权利要求1所述的方法,其特征在于,所述分类结果为利用训练得到的目标分类模型生成的,所述多种模态的特征数据包括视频特征数据、文本特征数据、音频特征数据;所述方法还包括:
获取已训练的特征提取子模型,所述特征提取子模型包括:视频特征提取子模型、文本特征提取子模型、音频特征提取子模型;
基于所述特征提取子模型、和构建的融合分类子模型,生成初始分类模型;
获取与所述分类任务匹配的样本数据,利用所述样本数据对所述初始分类模型进行调整,生成所述目标分类模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于抖音视界有限公司,未经抖音视界有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310287019.8/1.html,转载请声明来源钻瓜专利网。