[发明专利]一种基于多进程/线程并行运算的英语朗读练习系统

权利要求书

1.一种多线程/进程并行运算的英语朗读练习系统，其特征在于，包括：朗读练习的文本内容模块；一种为系统内置文本内容、并配置对应的标准语音、声学特征参数、语音时长相关信息；另外一种是自定义练习的文本模块，配置用户增加编辑练习的文本界面，文本分类，系统管理用户文本，并设置相应的数据库表格或指定服务器路径的存储空间；

知识库数据储存模块，包括各种音标音节发音规则，标准的音标发音的语音文件、容易朗读错误的知识点，所述知识库在英语朗读练习时候根据系统条件检索调用；

在系统对用户对英语文本朗读语音预处理后，采用并行运算的多线程/进程来分布运算，并行启动任务处理的线程/进程包括：语音标准参考模型线程/进程、朗读进度起点追踪线程/进程、进度标识进程、语句打分线程/进程、单词音节打分线程/进程、用户界面主线程/进程；

英语朗读练习核心模块；其中包括如下步骤：

步骤1、用户根据文本进行朗读练习，系统获得用户语音，并进行预加重、分帧加窗、解码、离散傅里叶变换、滤波、取对数、离散余弦变换，声学特征运算作为所述根据文本进行朗读的发音预处理结果待调用；

步骤2、开启语音标准参考模型线程/进程，设置不合格、合格、良好、优秀判定标准的阈值；

步骤3、开启朗读进度起点追踪线程/进程、进度标识进程、语句打分线程/进程、单词音节打分线程/进程，以HMM后验概率算法作为打分算法，通过用户朗读文本和对应的语音标准参考模型之间的声学特征最高值作为其映射到文本、单词、音节的分值，并和上述阈值分别比对，并根据结果将对应的文本部分进行标识，改变字体、字体颜色、下划线，所述标识和系统设定的不合格、合格、良好、优秀预先设定的标识规则一致；

其中所述朗读进度起点追踪线程/进程设置静音判定阈值，设置判定语句间隔静音时长值T，以时间为循环运算的递增参数，依次在通过预处理的用户语音信息流上取T长度段，计算平均声强，并和静音判定阈值进行比对；

以上比对的结果为：当语音段声强均值大于静音判定阈值时，则按照上述判定步骤以时间递增为起点，在预处理的用户语音信息流上取T长度段，继续上述判定的运算：

比对的结果为：当语音段声强均值小于或等于静音判定阈值时，记录该语音段的起点时间t1，则将t1作为语音中前面语句的结尾时间点,开始监视朗读进度起点运算，继续所述循环运算，将t1之后的第一个比对结果为“语音段声强均值大于静音判定阈值”的语音段起始时间t2记录；则将t2作为语音中当前语句的开始的起始时间点；

设置文本语句首部单词或音节字符组对应语音识别打分的识别阈值K；

将文本句子中第一个单词或音节对应的语音标准参考模型及时长排队罗列，依次被用于取语音段中t2为起始点，以当前所用的标准参考模型所对应的时长为长度，语音长度不够取段时，等待语音进度推进到足够取段，然后进行打分运算，并获得分值；当分值比对获得最高分值大于等于K时，对应的标准参考模型Q，将Q所映射的文本字符组作为句子的起点，设定为当前朗读进度的起点，并进行标识，最高分值小于K时，根据英语文本的标点符号，将当前进度标识焦点所在的文本语句第一个字符的下一句设定为新进度起点，并进行标识；

记载所述t1、t2 及 其对应的文本字符位置，得到用户语音时间段和文本内容的映射对应关系；

其中所述进度标识进程：英语文本句子、单词、音节文本单元对应的标准语音段的标准时长，将这时长平均分配到文本的字符上形成相对时间戳，所述字符可以为字母、数字、符号；

时间戳信息包括文本句子、单词、音节开时被朗读的时间点以及字符持续被朗读的时间；因为标准时长和用户朗读时长存在误差，确保进度标识在当前朗读的对应的文本单元内的一个位置，系统识别到新的文本对应语音的单元时候，跨越式将进度标识移动该文本单元，

在具备时间戳的文本单元，进度条匀速推进标识的算法为：

进度标识在字符上的速度：

speed= 文本单元对应的标准语音时长/文本单元字符长度

其中文本单元字符长度为第一个字符的起点位置到最后一个字符末端位置的距离；

进一步，通过进程通讯或进行数据实时数据通讯，获得朗读进度起点追踪线程/进程所得到的文本上的新起点时，进度标识线程/进程终止原有进行的任务，并以所述新起点为起点，重新开始进度标识进行的任务；

步骤4、将当前朗读语音所能对应的文本最末尾，作为朗读进度进行进度标识；

步骤5、进一步，将不合格、合格对应的文本标识分块分别链接到文本对应的标准语音文件播发模块、知识库中相关知识点显示模块；用户中断语音朗读，点击标识文本，系统唤醒文本链接对应的程序模块；

步骤6、用户继续朗读练习，到文本结束，指定位置显示结果分析标识，链接到朗读练习结果分析模块，包括，本次练习的综合得分，不及格发音的单词、句子并链接对应的标准语音模块、知识点模块、对用户的建议内容；指定位置显示朗读练习，链接到文本练习模块。