[发明专利]一种音乐替换方法、装置、电子设备及存储介质有效
申请号: | 202110975308.8 | 申请日: | 2021-08-24 |
公开(公告)号: | CN113747233B | 公开(公告)日: | 2023-03-24 |
发明(设计)人: | 张冉;陈珺闽;王晓瑞 | 申请(专利权)人: | 北京达佳互联信息技术有限公司 |
主分类号: | H04N21/439 | 分类号: | H04N21/439;G06N3/08;G06N3/04;G06F16/68 |
代理公司: | 北京中博世达专利商标代理有限公司 11274 | 代理人: | 申健 |
地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 音乐 替换 方法 装置 电子设备 存储 介质 | ||
1.一种音乐替换方法,其特征在于,所述方法包括:
提取待处理视频中的音频;
将所述音频输入到预设的音乐检测模型,进行音乐检测,得到所述音频中每一音频片段的类型;其中,所述类型包括音乐或与音乐不同的其他音频类型;所述音频片段的时长为预设时长;
确定至少一个目标音频片段;所述目标音频片段相邻的两个音频片段的类型相同、且所述目标音频片段的类型和所述目标音频片段相邻的两个音频片段的类型不同;
将所述目标音频片段的类型修正为所述目标音频片段相邻的两个音频片段的类型;
将修正后类型为音乐的目标音频片段和未被修正类型为音乐的音频片段作为音乐片段;在所述音乐片段不属于预设音乐库的情况下,将所述音乐片段输入到预设的音乐风格识别模型,进行音乐风格的识别,得到所述音乐片段的风格,所述预设音乐库中存储有多个可使用的音乐片段,所述可使用是指具有对所述音乐片段的使用许可;
从所述预设音乐库中选取风格与所述音乐片段的风格匹配的目标音乐;
采用所述目标音乐,对所述待处理视频中的所述音乐片段进行替换,得到包括所述目标音乐的视频。
2.根据权利要求1所述的方法,其特征在于,所述将所述音乐片段输入到预设的音乐风格识别模型,进行音乐风格的识别,得到所述音乐片段的风格,包括:
将所述音乐片段输入到所述音乐风格识别模型,进行音乐风格的识别,得到所述音乐风格识别模型中第N个隐藏层输出的目标特征;所述目标特征用于表征所述音乐片段的风格,所述音乐风格识别模型包括M个隐藏层;其中,1<N≤M,N、M为整数。
3.根据权利要求2所述的方法,其特征在于,所述从所述预设音乐库中选取风格与所述音乐片段的风格匹配的目标音乐,包括:
确定至少一个热点音乐,所述热点音乐为所述预设音乐库中关注度大于第一关注度阈值的音乐;
确定每一热点音乐的特征,所述特征用于表征所述每一热点音乐的风格;
确定所述每一热点音乐的特征与所述目标特征之间的相似度;
从相似度大于第一相似度阈值的热点音乐中确定所述目标音乐。
4.根据权利要求2所述的方法,其特征在于,所述从所述预设音乐库中选取风格与所述音乐片段的风格匹配的目标音乐,包括:
确定所述预设音乐库中每一音乐的特征;所述特征用于表征所述每一音乐的风格;
确定所述每一音乐的特征与所述目标特征之间的相似度;
从相似度大于第二相似度阈值的音乐中,确定所述目标音乐。
5.根据权利要求4所述的方法,其特征在于,所述从相似度大于第二相似度阈值的音乐中,确定所述目标音乐,包括:
从相似度大于第二相似度阈值的音乐中,确定关注度大于第二关注度阈值的音乐;
从所述关注度大于第二关注度阈值的音乐中确定所述目标音乐。
6.根据权利要求3或5所述的方法,其特征在于,所述关注度用于表征播放次数、点赞次数和收藏次数中的至少一项。
7.根据权利要求1-5中任一项所述的方法,其特征在于,所述采用所述目标音乐,对所述待处理视频中的所述音乐片段进行替换,得到包括所述目标音乐的视频,包括:
确定所述目标音乐中副歌的开始时刻;
获取所述目标音乐中位于所述开始时刻之后的片段,作为副歌片段;
采用所述副歌片段,对所述待处理视频中的所述音乐片段进行替换,得到包括所述副歌片段的视频。
8.根据权利要求2-5中任一项所述的方法,其特征在于,在所述将所述音乐片段输入到所述音乐风格识别模型,进行音乐风格的识别,得到所述音乐风格识别模型中第N个隐藏层输出的目标特征之前,所述方法还包括:
获取标记有音乐风格的至少一个音乐样本;
利用所述至少一个音乐样本,对预设神经网络模型进行训练,得到所述音乐风格识别模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京达佳互联信息技术有限公司,未经北京达佳互联信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110975308.8/1.html,转载请声明来源钻瓜专利网。