[发明专利]一种语音合成方法及装置有效
申请号: | 202110584734.9 | 申请日: | 2021-05-27 |
公开(公告)号: | CN113436600B | 公开(公告)日: | 2022-12-27 |
发明(设计)人: | 贺宇;佟子健 | 申请(专利权)人: | 北京葡萄智学科技有限公司 |
主分类号: | G10L13/02 | 分类号: | G10L13/02;G10L13/08;G10L25/24;G10L25/30 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 莎日娜 |
地址: | 100080 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 语音 合成 方法 装置 | ||
1.一种语音合成方法,其特征在于,包括:
获取文本,所述文本包括需要强调的文本;
在将所述文本合成为语音的过程中,根据所述需要强调的文本,调整所述语音,使得对所述需要强调的文本对应的语音进行强调;
其中,所述需要强调的文本对应的语音是通过包括前向注意力模块的语音合成模型进行强调的,在所述语音合成模型中通过将需要强调的文本对应的强调向量和当前帧的对齐函数进行点积,得到所述当前帧的强调特征;将所述当前帧的强调特征作为偏置,添加到所述前向注意力模块的输入中,得到在所述当前帧时移动到下一个音素上的概率;根据所述概率和所述文本转换成的音素序列,生成音频特征序列,基于音频特征序列进行语音强调,所述音频特征序列中,越靠近所述需要强调的文本对应的音频特征,语速越慢。
2.根据权利要求1所述的方法,其特征在于,所述在将所述文本合成为语音的过程中,根据所述需要强调的文本,调整所述语音,使得对所述需要强调的文本对应的语音进行强调,包括:
在将所述文本合成为语音的过程中,根据所述需要强调的文本,调整所述语音的语音属性,使得对所述需要强调的文本对应的语音进行强调,所述语音属性包括语速、基频、能量中至少一种。
3.根据权利要求2所述的方法,其特征在于,所述语音属性包括语速,所述在将所述文本合成为语音的过程中,根据所述需要强调的文本,调整所述语音的语音属性,使得对所述需要强调的文本对应的语音进行强调,包括:
在将所述文本合成为语音的过程中,根据所述需要强调的文本,调整所述语音的语速,使得在所述语音中,越靠近所述需要强调的文本对应的语音,语速越慢。
4.根据权利要求3所述的方法,其特征在于,所述在将所述文本合成为语音的过程中,根据所述需要强调的文本,调整所述语音的语速,使得在所述语音中,越靠近所述需要强调的文本对应的语音,语速越慢,包括:
将所述文本输入语音合成模型得到音频特征序列,使得在所述音频特征序列中,越靠近所述需要强调的文本对应的音频特征,语速越慢;所述语音合成模型是以文本样本为输入,所述文本样本对应的音频特征序列样本为输出训练获得,所述文本样本携带需要强调的文本在所述文本样本中的位置;
基于所述音频特征序列合成所述文本对应的语音。
5.根据权利要求2所述的方法,其特征在于,所述语音属性包括语速,所述在将所述文本合成为语音的过程中,根据所述需要强调的文本,调整所述语音的语音属性,使得对所述需要强调的文本对应的语音进行强调,包括:
在将所述文本合成为语音的过程中,根据所述需要强调的文本,调整所述需要强调的文本对应的语音的语速,使得在所述语音中,所述需要强调的文本对应的语音的语速为预设语速、或逐渐增加或减少至预设语速。
6.根据权利要求2所述的方法,其特征在于,所述语音属性包括基频和/或能量,所述在将所述文本合成为语音的过程中,根据所述需要强调的文本,调整所述语音的语音属性,使得对所述需要强调的文本对应的语音进行强调,包括:
在所述语音中,加强所述需要强调的文本对应的语音的基频和/或能量;
或者,在所述语音中,减弱所述需要强调的文本对应的语音的基频和/或能量。
7.一种语音合成装置,其特征在于,包括:
文本获取模块,用于获取文本,所述文本包括需要强调的文本;
语音合成模块,用于在将所述文本合成为语音的过程中,根据所述需要强调的文本,调整所述语音,使得对所述需要强调的文本对应的语音进行强调;
其中,所述需要强调的文本对应的语音是通过包括前向注意力模块的语音合成模型进行强调的,在所述语音合成模型中通过将需要强调的文本对应的强调向量和当前帧的对齐函数进行点积,得到所述当前帧的强调特征;将所述当前帧的强调特征作为偏置,添加到所述前向注意力模块的输入中,得到在所述当前帧时移动到下一个音素上的概率;根据所述概率和所述文本转换成的音素序列,生成音频特征序列,基于音频特征序列进行语音强调,所述音频特征序列中,越靠近所述需要强调的文本对应的音频特征,语速越慢。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京葡萄智学科技有限公司,未经北京葡萄智学科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110584734.9/1.html,转载请声明来源钻瓜专利网。