[发明专利]基于意群标注的英语发音连读标记模型

权利要求书

1.一种基于意群标注的英语发音连读标记模型，其特征在于：包括文本预处理、意群标注模型以及连读标注模块，所述的文本预处理为将输入的文本进行分句与分词预处理，将预处理后的文本输入意群标注模型，意群标注模型输出意群信息与文本至连读标注模块进行连读分析，连读标注模块完成连读标注后输出标记结果，

所述的意群标注模型包括字母级别的卷积神经网络编码器、词嵌入层、序列标注模型和条件随机场层(CRF层)，预处理后的文本通过卷积神经网络编码器进行每个词字母编码后与该词的词向量拼接后输入到序列标注模型进行运算处理，并将运算结果输入到条件随机场层中解码得到意群标注序列，

所述的连读标注模块以句子与意群信息作为输入，根据连读规则在意群内标注连读与变音。

2.根据权利要求1所述的基于意群标注的英语发音连读标记模型，其特征在于：所述的意群标注模型还包括词嵌入层，字母级别的卷积神经网络编码器和词嵌入层分别对预处理后的文本进行计算处理，并将两者的计算结果拼接后进行一次线性变化后输入序列标注模块。

3.根据权利要求2所述的基于意群标注的英语发音连读标记模型，其特征在于：字母级别的卷积神经网络编码器对输入的文本单词以字母序列的形式输入到字母嵌入层，对字母嵌入表示进行卷积运算，运算的结果做最大池化后输出。

4.根据权利要求2所述的基于意群标注的英语发音连读标记模型，其特征在于：所述的序列标注模型由分组卷积神经网络与Position-Wise Feed-Forward Networks两个子结构构成，分组卷积神经网络与Position-Wise Feed-Forward Networks两个子结构间以残差连接并插入Layer-Normalization。

5.根据权利要求4所述的基于意群标注的英语发音连读标记模型，其特征在于：所述的分组卷积神经网络由两层分组卷积层构成，两层卷积层间插入ReLU作为激活函数，

设定第一层分组卷积层的分组数G等于输入通道数C₁，中间通道数C₂为4C₁，输出通道数为C₁，即，

输入输入到第一层分组卷积层，其中L为序列长度，d_model为模型隐状态大小，

y＝max(GroupedConv(x，K₁，C₁，C₂，G)，0)

其中C₁＝G＝d_model，K₁为卷积核的大小。

第二层分组卷积层的输入通道数为C₂，输出通道数为C₁，卷积核大小为K₂，分组数G；

z＝GroupedConv(y，K₂，C₂，C₁，G)

其中

6.根据权利要求4所述的基于意群标注的英语发音连读标记模型，其特征在于：Position-Wise Feed-Forward Networks的计算公式为：

FFN(x)＝max(0，xW₁+b₁)W₂+b₂

其中

7.根据权利要求4所述的基于意群标注的英语发音连读标记模型，其特征在于：定义CRF层的目标函数为

其中A为标签转移矩阵，A_i,j表示标签i转移到标签j的分数，θ为模型中所有的参数，输入的句子x，句子长度为T，[f_θ]_i，t表示神经网络在t个词输出标签i的分数；

令是句子x的真实标签序列，需要优化的目标函数为：

在推理时，采用Viterbi算法求解最大化的标签序列