[发明专利]合唱混音方法、装置、电子设备和存储介质在审
申请号: | 202110805138.9 | 申请日: | 2021-07-16 |
公开(公告)号: | CN113470613A | 公开(公告)日: | 2021-10-01 |
发明(设计)人: | 李楠;张晨 | 申请(专利权)人: | 北京达佳互联信息技术有限公司 |
主分类号: | G10L13/02 | 分类号: | G10L13/02;G10L21/0208;G10L21/0232 |
代理公司: | 北京铭硕知识产权代理有限公司 11286 | 代理人: | 曾世骁;苏银虹 |
地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 合唱 方法 装置 电子设备 存储 介质 | ||
本公开提供了一种合唱混音方法、装置、电子设备和计算机可读存储介质,所述方法包括:将主唱音频信号和包含外放主唱音频的合唱音频信号分别转换为频域信号;基于主唱音频信号的频域信号和合唱音频信号的频域信号所包含的外放主唱音频的频域信号来确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的延迟;基于确定的延迟将合唱音频信号与主唱音频信号对齐;针对对齐后的合唱音频信号执行回声消除;对主唱音频信号和执行了回声消除的合唱音频信号进行混音。
技术领域
本公开涉及音视频技术领域,尤其涉及一种用于合唱混音的方法、装置、电子设备和存储介质。
背景技术
随着互联网和智能设备技术的提升,手机K歌软件的使用已经非常普及,其中利用软件进行合唱就是一种常用的K歌作品制作方法。在使用智能设备(如手机、电脑等)中的软件进行合唱音频的录制过程中,由于外放状态下系统播放的主唱音频到达扬声器的激励存在一定的延迟,且该延迟会发生变化和抖动。在这种情况下,如果唱歌者根据扬声器实际播放的主唱音频进行歌唱,在混音时则会出现主唱音频与合唱音频出现明显错位的现象,非常影响最终合唱作品的质量。同时,由于在播放主唱音频的过程中,设备的传声器会采集到扬声器播放的主唱音频,在以上提到的系统延迟的影响下,最终的作品中会出现多个错位的主唱音频的情况。
在相关技术中,可在录制完歌曲后,通过显示一个对齐主唱音频和合唱音频的时间滑块来让录制者能够对错位的音频进行调整。然而该方法需要用户手动操作,不方便的同时难以做到精确此外,该方法不能解决录制的音频中存在主唱的音频的问题。
另外,在相关技术中,可基于音频音调和音乐数字接口乐谱的对齐,对比音频信号的音调和乐谱的相关性,找到对齐的时间点。然而,该方法需要依赖准确的音调检测,实时性较低。另外,该方法一般需要音频信号具有高信噪比,因此限制了用户在无耳机情况下的使用。
发明内容
本公开提供一种用于合唱混音的方法、装置、电子设备和存储介质,以至少解决相关技术中主唱音频和合唱音频错位的问题,也可不解决任何上述问题。
根据本公开的第一方面,提供了一种合唱混音方法,其特征在于,包括:将主唱音频信号和包含外放主唱音频的合唱音频信号分别转换为频域信号;基于主唱音频信号的频域信号和合唱音频信号的频域信号所包含的外放主唱音频的频域信号来确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的延迟;基于确定的延迟将合唱音频信号与主唱音频信号对齐;针对对齐后的合唱音频信号执行回声消除;对主唱音频信号和执行了回声消除的合唱音频信号进行混音。
根据本公开的第一方面,确定延迟包括:确定所述合唱音频信号的频域信号所包含的外放主唱音频的频域信号与主唱音频信号的频域信号之间的相对偏移帧数,并根据所述相对偏移帧数来确定延迟。
根据本公开的第一方面,基于确定的延迟将合唱音频信号与对主唱音频信号对齐包括:确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差;响应于主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差在预定范围内,基于前一时刻的延迟来调整合唱音频信号的时间;响应于主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差超出所述预定范围,基于当前时刻的延迟来调整合唱音频信号的时间。
根据本公开的第一方面,基于确定的延迟将合唱音频信号与主唱音频信号对齐还包括:对调整后的合唱音频信号的重叠和断裂执行平滑处理。
根据本公开的第一方面,针对对齐后的合唱音频信号执行回声消除包括:以主唱音频信号作为参考信号针对对齐后的合唱音频信号执行回声消除以减弱合唱音频信号中的残留的主唱音频信号。
根据本公开的第一方面,对主唱音频信号和执行了回声消除的合唱音频信号进行混音包括:对主唱音频信号和执行了回声消除的合唱音频信号执行幅度控制。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京达佳互联信息技术有限公司,未经北京达佳互联信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110805138.9/2.html,转载请声明来源钻瓜专利网。