[发明专利]无需标准读音的音素级的低功耗口语评价及缺陷诊断方法

说明书

技术领域

本发明涉及计算机辅助语言学习和语音识别技术领域，具体涉及一种音素级(phonetic-level)的低功耗口语评价及缺陷诊断方法。音素级别的技术使得评分与反馈能够细化到音素级别：在用户读了一系列文本之后，能够识别出来那些阻碍用户发音纯正的核心音素，从而提供相应的培训材料并进行针对性的练习。可适应于英语、汉语、西班牙语等语言的学习，以及对语言障碍患者的诊断与评测。

背景技术

语言的学习在于模仿，尤其是语音方面。以英语为例，为了练就纯正的口语，最好的办法就是跟读母语为英语的纯正发音，现有的很多教程或辅导材料就是以此构建。大体上，这些教材只提供纯正样本发音，而由学生自己判定自己的发音与标准读音之间的差别，并进而自己决定如何改进。这种方法的局限性如下：

1、由于自己听自己声音和别人听到的声音存在差别，学生对自己声音的感知和他人的感知不同，所以无法客观的评分自己发音的质量。

2、借助录音可以弥补上述缺陷，但是来回在录音之间进行切换比较造成不必要的麻烦，降低了学习效率，这是各种复读机所采用的方案。

3、即使不考虑上述因素，学生自己(乃至老师)的评定仍然是主观定性的，无法做到客观的量化评定，并且学生不知道如何改进。由于用户不能准确地辨别自己的发音缺陷，也不能进行针对性的练习。

发明内容

针对现有技术存在的上述缺陷，本发明要解决的技术问题是，提供一种细化到音素级别的口语评价方法，能够从音素级别对用户的读音进行评价，提供更为精确的评分。

为解决上述技术问题，首先，本发明提供了一种无需标准读音的音素级的低功耗口语评价方法，适合不提供标准读音时使用，包括如下步骤：

(1)对用户语音进行声学特征提取，得到每一帧对应的特征向量，进而得到与用户语音所对应的特征向量序列；

(2)对于给定的文本，它对应一个音素序列，记做

p_all＝{sil，p₁，sil，p₂，sil，p₃，sil，...，p_(M-1)，sil，p_M，sil}，其中sil代表停顿音，基于加权有限状态转换器Q使用Viterbi算法对用户语音所对应的特征向量序列进行解码操作，得到特征向量序列到上述音素序列p_all的对齐α，此对齐α的计数向量记做

β＝{ns₀，n₁，ns₁，n₂，ns₂，n₃，ns₃，...，n_(M-1)，ns_(M-1)，n_M，ns_M}，

其中n_i表示对应于第i个非停顿音音素的帧的数量，ns_i表示对应于第i+1个停顿音的帧的数量，M是此样本文本对应的非停顿音音素的数量，上述基于加权有限状态转换器Q与Viterbi算法的解码过程在给出对齐的同时，也给出了每个特征向量所对应的HMM状态；

其中Q＝π_ε(min(det(Hοdet(Cοdet(LοG)))))，其中的min表示有关加权有限状态转换器的最小化操作，det表示有关加权有限状态转换器的确定化操作，符号ο表示有关加权有限状态转换器的复合操作，π_ε表示去除加权有限状态转换器中ε符号的操作；

声学模型H、发音词典模型L以及上下文相关的音素模型C均为加权有限状态转换器，并且均是基于加权有限状态转换器的大词汇量连续语音识别技术的训练过程得到；对于给定的文本，产生此文本对应的语言模型G，从而产生与该文本对应的加权有限状态转换器Q；

(3)对每个音素，通过计算其对应的特征向量或特征向量组与其在声学模型H中的数学表示之间吻合度，可以评价用户在每个音素上的发音质量，吻合度越高，说明发音质量越好。

进一步地，本发明还提供了一种无需标准读音的音素级的低功耗口语缺陷诊断方法，其特征在于，首先采用如权利要求1-9中任一项所述的无需标准读音的音素级的低功耗口语评价方法对用户语音进行评价，然后还包括确定用户有发音缺陷的音素的步骤：根据用户朗读多个发音单元所得到的多个第一音素质量分数或者第二音素质量分数序列，用户得分最低的音素或者得分较低的多个音素为有发音缺陷的音素。