[发明专利]基于意群标注的英语发音连读标记模型

说明书

本发明涉及英语发音标注模型技术领域，尤其是一种基于意群标注的英语发音连读标记模型，包括文本预处理、意群标注模型以及连读标注模块，所述的文本预处理为将输入的文本进行分句与分词预处理，将预处理后的文本输入意群标注模型，意群标注模型输出意群信息与文本至连读标注模块进行连读分析，连读标注模块完成连读标注后输出标记结果，本发明能够高效地并行运算。

技术领域

本发明涉及英语发音标注模型技术领域，具体领域为一种基于意群标注的英语发音连读标记模型。

背景技术

单词间的连读、变音是英语口语中的一种常见现象。口语学习中，在文本上显式地标出需要连读变音的位置能够帮助学生更好地掌握地道的发音，并且可以提高学生对于连读的听力理解能力。因此，连读、变音的标注对于英语口语的学习具有促进作用。

常见的连读、变音包括：失去爆破音、相同或相似音的失去、轻辅音[h]连读、连读发生音变成为复合辅音等。以上连读与变音应当发生在语义紧密的词之间，也就是同一个意群内，不同的意群间的连读显得不自然，如Is it a hat or a cat中ora间的连读。因此语句中意群的划分是标注连读发音的前提。

常规的序列标注模型，如条件随机场(CRF)、循环神经网络RNN以及变体如GRU、LSTM等被成功地运用于意群的标注。然而常规的循环神经网络序列标注模型，在计算t时刻时需要依赖t-1时刻的运算结果，也就是需要依次计算，这样的按序列依次运算的方式不利于并行化计算。基于Self-attention的Transformer结构虽然可以并行化，但却需要序列长度平方级的计算与空间复杂度。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于意群标注的英语发音连读标记模型。

为实现上述目的，本发明提供如下技术方案：一种基于意群标注的英语发音连读标记模型，包括文本预处理、意群标注模型以及连读标注模块，所述的文本预处理为将输入的文本进行分句与分词预处理，将预处理后的文本输入意群标注模型，意群标注模型输出意群信息与文本至连读标注模块进行连读分析，连读标注模块完成连读标注后输出标记结果，

所述的意群标注模型包括字母级别的卷积神经网络编码器、词嵌入层、序列标注模型和CRF层，预处理后的文本通过卷积神经网络编码器进行每个词字母编码后与该词的词向量拼接后输入到序列标注模型进行运算处理，并将运算结果输入到CRF层中解码得到意群标注序列，

所述的连读标注模块以句子与意群信息作为输入，根据连读规则在意群内标注连读与变音。

优选的，所述的意群标注模型还包括词嵌入层，字母级别的卷积神经网络编码器和词嵌入层分别对预处理后的文本进行计算处理，并将两者的计算结果拼接后进行一次线性变化后输入序列标注模块。

优选的，字母级别的卷积神经网络编码器对输入的文本单词以字母序列的形式输入到字母嵌入层，对字母嵌入表示进行卷积运算，运算的结果做最大池化后输出。

优选的，所述的序列标注模型由分组卷积神经网络与Position-Wise Feed-Forward Networks两个子结构构成，分组卷积神经网络与Position-Wise Feed-ForwardNetworks两个子结构间以残差连接并插入Layer-Normalization。

优选的，所述的分组卷积神经网络由两层分组卷积层构成，两层间使用的激活函数为ReLU，

设定第一层分组卷积层的分组数G等于输入通道数C₁，中间通道数C₂为4C₁，输出通道数为C₁，即，

输入输入到第一层分组卷积层，其中L为序列长度，d_model为模型隐状态大小，