[发明专利]一种视频格调识别方法、装置及电子设备在审
申请号: | 202110426645.1 | 申请日: | 2021-04-20 |
公开(公告)号: | CN113761273A | 公开(公告)日: | 2021-12-07 |
发明(设计)人: | 余亭浩;陈少华;侯昊迪;张绍明 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/735 | 分类号: | G06F16/735;G06F16/783;G06N20/00 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王兆林 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 视频 格调 识别 方法 装置 电子设备 | ||
1.一种视频格调识别方法,其特征在于,包括:
获取目标视频的相关信息;所述相关信息包括:音频信息、文本信息和图像信息中的至少一种;
将所述目标视频的相关信息输入到格调分析模型中,得到所述目标视频的格调信息,所述格调信息表征所述目标视频格调的高低程度;
其中,所述格调分析模型通过如下方式训练得到:将从负反馈视频中获取的与格调相关的视频作为第一训练样本,以待训练的格调分析模型对所述第一训练样本的格调信息的分析结果趋近于所述第一训练样本的标准格调信息为训练目标,对所述格调分析模型进行训练;其中,所述负反馈视频是用户反馈信息中表示用户感兴趣程度较低的视频。
2.根据权利要求1所述的方法,其特征在于,所述格调分析模型,包括:
图像处理模块、文本处理模块、音频处理模块和融合模块;所述图像处理模块用于从图像信息中提取图像特征,所述文本处理模块用于从文本信息中提取文本特征,所述音频处理模块用于从音频信息中提取音频特征,所述融合模块用于将图像特征、文本特征和音频特征进行融合,得到融合特征,以通过所述融合特征分析视频的格调信息。
3.根据权利要求2所述的方法,其特征在于,所述格调分析模型的训练过程包括:
将从负反馈视频中获取的与格调相关的视频的图像信息作为第二训练样本,以待训练的图像处理模块对所述第二训练样本的格调信息的预测结果趋近于所述第二训练样本的标准格调信息为目标,对所述图像处理模块进行训练,得到已训练的图像处理模块;
将从负反馈视频中获取的与格调相关的视频的文本信息作为第三训练样本,以待训练的文本处理模块对所述第三训练样本预测的格调信息的预测结果趋近于所述第三训练样本的标准格调信息为目标,对文本处理模块进行训练,得到已训练的文本处理模块;
将从负反馈视频中获取的与格调相关的视频的音频信息作为第四训练样本,以待训练的文本处理模块对所述第四训练样本预测的格调信息的预测结果趋近于所述第四训练样本的标准格调信息为目标,对音频处理模块进行训练,得到已训练的音频处理模块;
将从负反馈视频中获取的与格调相关的视频作为第五训练样本,通过已训练的图像处理模块、文本处理模块和音频处理模块对融合模块进行训练,以使融合模块对第五训练样本的格调信息的预测结果趋近于所述第五训练样本的标准格调信息。
4.根据权利要求3所述的方法,其特征在于,所述将从负反馈视频中获取的与格调相关的视频作为第五训练样本,通过已训练的图像处理模块、文本处理模块和音频处理模块对融合模块进行训练,以使融合模块对第五训练样本的格调信息的预测结果趋近于所述第五训练样本的标准格调信息,包括:
获取第五训练样本中每个视频的图像信息、文本信息和音频信息;
将第五训练样本中每个视频的图像信息输入到已训练的图像处理模块中,得到图像特征;
将第五训练样本中每个视频的文本信息输入到已训练的文本处理模块中,得到文本特征;
将第五训练样本中每个视频的音频信息输入到已训练的音频处理模块中,得到音频特征;
通过第五训练样本中每个视频的图像特征、文本特征和音频特征对融合模块进行训练,以使所述融合模块预测的第五训练样本的格调信息趋近于第五训练样本的标准格调信息。
5.根据权利要求1-4所述的任意一项所述的方法,其特征在于,所述标准格调信息的获取方法包括:
统计目标训练样本中负反馈视频的数量,以及所有负反馈视频对应的负反馈信息的总数量;所述目标训练样本为所述第一训练样本、第二训练样本、第三训练样本或者第四训练样本;
通过所述负反馈视频对应的负反馈信息的总数量和负反馈视频的总数量,计算平均格调分;
针对任意一个负反馈视频,通过该负反馈视频对应的负反馈信息的数量和平均格调分,计算该负反馈视频的格调分,并以所述负反馈视频的格调分表示所述负反馈视频的标准格调信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110426645.1/1.html,转载请声明来源钻瓜专利网。