[发明专利]视频分类方法、装置、计算机设备及存储介质在审

专利信息
申请号: 202310287019.8 申请日: 2023-03-22
公开(公告)号: CN116229329A 公开(公告)日: 2023-06-06
发明(设计)人: 杨志雄;雷鑫华;杨延展;李永会 申请(专利权)人: 抖音视界有限公司
主分类号: G06V20/40 分类号: G06V20/40;G06V10/764;G06V10/75
代理公司: 北京中知法苑知识产权代理有限公司 11226 代理人: 赵吉阳
地址: 100041 北京市石景山区*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 视频 分类 方法 装置 计算机 设备 存储 介质
【权利要求书】:

1.一种视频分类方法,其特征在于,包括:

获取待检测视频、和所述待检测视频的非内容属性信息;

对所述待检测视频进行特征提取,生成与所述待检测视频内容匹配的多种模态的特征数据;以及基于分类任务的任务内容,对所述非内容属性信息进行编码,生成属性特征数据;

基于所述多种模态的特征数据和所述属性特征数据,确定所述待检测视频在所述分类任务下的分类结果。

2.根据权利要求1所述的方法,其特征在于,所述非内容属性信息包括以下至少一种:点赞数、点踩数、评论数、转发数、收藏数、分享数、视频时长、播放次数、完播率。

3.根据权利要求1或2所述的方法,其特征在于,所述基于分类任务的任务内容,对所述非内容属性信息进行编码,生成属性特征数据,包括:

基于所述分类任务的任务内容,确定所述非内容属性信息中各种属性信息的权重;

基于所述非内容属性信息中各种属性信息的权重,对所述非内容属性信息进行编码,生成属性特征数据。

4.根据权利要求1或2所述的方法,其特征在于,所述基于分类任务的任务内容,对所述非内容属性信息进行编码,生成属性特征数据,包括:

基于所述分类任务的任务内容,从所述非内容属性信息包括的各种属性信息中,选取目标属性信息;

对选取的所述目标属性信息进行编码,生成属性特征数据。

5.根据权利要求1所述的方法,其特征在于,所述基于所述多种模态的特征数据和所述属性特征数据,确定所述待检测视频在所述分类任务下的分类结果,包括:

将所述多种模态的特征数据和所述属性特征数据进行拼接,生成第一拼接特征数据;

利用第一全连接处理层和第二全连接处理层,依次对所述第一拼接特征数据进行处理,生成所述待检测视频在所述分类任务下的分类结果。

6.根据权利要求1所述的方法,其特征在于,所述基于所述多种模态的特征数据和所述属性特征数据,确定所述待检测视频在所述分类任务下的分类结果,包括:

利用第一全连接处理层,分别对所述多种模态的特征数据、和所述属性特征数据进行处理,生成处理后的多种模态的特征数据、和处理后的属性特征数据;

将所述处理后的多种模态的特征数据、和所述处理后的属性特征数据进行拼接,生成第二拼接特征数据;

利用第二全连接处理层,对所述第二拼接特征数据进行处理,生成所述待检测视频在所述分类任务下的分类结果。

7.根据权利要求1所述的方法,其特征在于,所述基于所述多种模态的特征数据和所述属性特征数据,确定所述待检测视频在所述分类任务下的分类结果,包括:

利用第一全连接处理层,分别对所述多种模态的特征数据、和所述属性特征数据进行处理,生成处理后的多种模态的特征数据、和处理后的属性特征数据;

利用第二全连接处理层,分别对所述处理后的多种模态的特征数据、和处理后的属性特征数据进行处理,生成每种模态的特征数据对应的中间分类结果、和所述属性特征数据对应的中间分类结果;

将所述多种模态的特征数据分别对应的所述中间分类结果、和所述属性特征数据对应的所述中间分类结果进行加权融合,生成所述待检测视频在所述分类任务下的分类结果。

8.根据权利要求1所述的方法,其特征在于,所述分类结果为利用训练得到的目标分类模型生成的,所述多种模态的特征数据包括视频特征数据、文本特征数据、音频特征数据;所述方法还包括:

获取已训练的特征提取子模型,所述特征提取子模型包括:视频特征提取子模型、文本特征提取子模型、音频特征提取子模型;

基于所述特征提取子模型、和构建的融合分类子模型,生成初始分类模型;

获取与所述分类任务匹配的样本数据,利用所述样本数据对所述初始分类模型进行调整,生成所述目标分类模型。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于抖音视界有限公司,未经抖音视界有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202310287019.8/1.html,转载请声明来源钻瓜专利网。

同类专利
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top