[发明专利]声音处理方法、装置及存储介质有效
申请号: | 201810848306.0 | 申请日: | 2018-07-27 |
公开(公告)号: | CN110767204B | 公开(公告)日: | 2022-06-14 |
发明(设计)人: | 赵朋 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G10H1/36 | 分类号: | G10H1/36;G10L15/26;G10L17/04;G10L25/51;G10L25/81 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 荣甜甜;刘芳 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 声音 处理 方法 装置 存储 介质 | ||
1.一种声音处理方法,其特征在于,包括:
判断用户发出的声音信号与伴奏信号是否同步,所述伴奏信号是从原唱音视频数据中提取出的;
若所述声音信号与所述伴奏信号不同步,则根据时间差处理所述声音信号或所述伴奏信号,以使所述伴奏信号和所述声音信号同步,所述时间差为所述声音信号与所述伴奏信号之间的时间差;
所述若所述声音信号与所述伴奏信号不同步,则根据时间差处理所述声音信号或所述伴奏信号,包括:
若所述声音信号快于所述伴奏信号,则自第一时间点开始缓存所述声音信号,并在第二时间点,播放所述缓存的声音信号;
或者,
若所述声音信号慢于所述伴奏信号,则自所述第一时间点开始缓存所述伴奏信号,并在第二时间点,播放所述缓存的伴奏信号;
其中,所述第一时间点根据所述原唱音视频数据中的歌词文件确定出,所述第二时间点为自所述第一时间点开始,经过所述时间差后的时间点。
2.根据权利要求1所述的方法,其特征在于,若所述声音信号与所述伴奏信号不同步,则根据时间差处理所述声音信号或所述伴奏信号包括:
若所述声音信号慢于所述伴奏信号,则删除所述第一时间点之前的声音信号,所述第一时间点根据所述原唱音视频数据中的歌词文件确定出。
3.根据权利要求1所述的方法,其特征在于,所述判断用户发出的声音信号和伴奏信号是否同步之前,还包括:
根据所述第一时间点,从所述原唱音视频数据中提取出文字,所述第一时间点根据所述原唱音视频数据中的歌词文件确定出;
判断所述声音信号对应的文字与所述提取出的文字的发声相似度是否大于第一阈值;
若所述声音信号对应的文字与所述提取出的文字的发声相似度是大于所述第一阈值,则确定用户发出的声音信号是所述原唱音视频数据中提取出文字对应的信号。
4.根据权利要求2所述的方法,其特征在于,所述判断用户发出的声音信号和伴奏信号是否同步之前,还包括:
根据所述第一时间点,从所述原唱音视频数据中提取出文字,所述第一时间点根据所述原唱音视频数据中的歌词文件确定出;
判断所述声音信号对应的文字与所述提取出的文字的发声相似度是否大于第一阈值;
若所述声音信号对应的文字与所述提取出的文字的发声相似度是大于所述第一阈值,则确定用户发出的声音信号是所述原唱音视频数据中提取出文字对应的信号。
5.根据权利要求1所述的方法,其特征在于,所述判断用户发出的声音信号和伴奏信号是否同步之前,还包括:
根据所述第一时间点,从所述原唱音视频数据中提取出文字,所述第一时间点根据所述原唱音视频数据中的歌词文件确定出;
确定所述文字对应的第一声学模型;
根据所述声音信号,确定所述声音信号对应的第二声学模型;
判断所述第一声学模型与所述第二声音模型的相似度是否大于第二阈值;
若所述第一声学模型和所述第二声音模型的相似度大于所述第二阈值,则确定用户发出的声音信号是所述原唱音视频数据中提取出文字的对应的信号。
6.根据权利要求2所述的方法,其特征在于,所述判断用户发出的声音信号和伴奏信号是否同步之前,还包括:
根据所述第一时间点,从所述原唱音视频数据中提取出文字,所述第一时间点根据所述原唱音视频数据中的歌词文件确定出;
确定所述文字对应的第一声学模型;
根据所述声音信号,确定所述声音信号对应的第二声学模型;
判断所述第一声学模型与所述第二声音模型的相似度是否大于第二阈值;
若所述第一声学模型和所述第二声音模型的相似度大于所述第二阈值,则确定用户发出的声音信号是所述原唱音视频数据中提取出文字的对应的信号。
7.根据权利要求1~6任一项所述的方法,其特征在于,所述若所述声音信号与所述伴奏信号不同步,则根据时间差处理所述声音信号或所述伴奏信号之后,还包括:
从所述原唱音视频数据中提取出原唱信号;
根据所述原唱信号调整所述声音信号,以使所述原唱信号的波形和所述声音信号的波形的相似度超过第三阈值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810848306.0/1.html,转载请声明来源钻瓜专利网。