[发明专利]对文本到语音发音问题检测的语音识别辅助评估

权利要求书

1.一种用于确定发音问题的方法，其包括：

接收包括用于文本到语音(TTS)部件的句子的文本和用作针对所述文本的参考的所述文本的录音；

接收由所述TTS部件使用所述文本作为对所述TTS部件的输入而生成的合成语音；

对通过确定所述合成语音与所述录音的相似性而在文本级别执行的评估所接收的结果进行评估，其中，所述文本级别的评估包括执行对所述文本中的句子的音素序列与所述录音中的句子的对应音素序列的相似性度量；

对从语音识别(SR)部件获取的结果进行评估，所述结果与包括所述合成语音和所述录音的、对SR部件的不同输入相关；以及

基于所述评估生成包括发音问题候选的排名的列表。

2.根据权利要求1所述的方法，其进一步包括使用从所述TTS部件确定的音素序列和所述录音的SR音素序列，对来自所述文本的音素序列的信号级别评估的结果进行评估。

3.根据权利要求1所述的方法，其中，所述文本级别的评估包括执行对所述文本内每个句子的单词序列和音素序列的评估。

4.根据权利要求1所述的方法，还包括针对声学模型来执行模型级别检查，所述检查确定TTS音素集合和SR音素集合的相似性，其包括确定TTS声学模型和SR声学模型之间的映射关系。

5.一种存储用于确定发音问题的计算机可执行指令的计算机可读介质，其包括：

接收包括用于文本到语音(TTS)部件的句子的文本和用作针对所述文本的参考的所述文本的录音；

接收由所述TTS部件使用所述文本作为所述TTS部件的输入而生成的合成语音；

对通过确定所述合成语音与所述录音的相似性而在文本级别执行的评估所接收的结果进行评估；

对从语音识别(SR)部件获取的结果进行评估，所述结果与包括所述合成语音和所述录音的、对SR部件的不同输入相关；

对来自对所述文本和所述录音的信号级别评估的结果进行评估；以及

基于所述评估生成包括发音问题候选排名的列表。

6.根据权利要求5所述的计算机可读介质，其中对所述文本的所述信号级别评估包括使用从所述TTS部件确定的音素序列和所述录音的SR音素序列，对所述文本的音素序列的录音的相似性进行评估。

7.根据权利要求5所述的计算机可读介质，其中所述文本级别的评估包括执行对所述文本中每个句子的音素序列与所述录音中每个句子的对应音素序列的相似性度量。

8.一种用于确定发音问题的系统，其包括：

处理器和存储器；

操作环境，其使用所述处理器而执行；

包括句子的文本和对应于所述文本的录音；

文本到语音(TTS)部件，其被配置为使用所述文本来生成合成语音；

语音识别(SR)部件，其被配置为对语音进行识别；以及

发音问题检测器，其被配置为执行包括以下的动作：

接收由所述TTS部件生成的合成语音；

对通过确定所述合成语音与所述录音的相似性而在文本级别执行的评估所接收的结果进行评估；

对从SR部件获取的结果进行评估，所述结果与包括所述合成语音和所述录音的、对SR部件的不同输入相关；

对来自对所述文本和所述录音的信号级别评估的结果进行评估；以及

基于所述评估生成包括发音问题候选排名的列表。

9.根据权利要求8所述的系统，其中对所述文本的所述信号级别评估包括使用从所述TTS部件确定的音素序列和所述录音的SR音素序列，对所述文本的音素序列的录音的相似性进行评估。

10.根据权利要求8所述的系统，其中所述文本级别的评估包括执行对所述文本中每个句子的音素序列与所述录音中每个句子的对应音素序列的相似性度量。