[发明专利]一种基于端到端的应用于电力企业客服的语音导航方法

权利要求书

1.一种基于人工智能的应用于电力电网领域的语音导航方法，其特征在于：

(1)在语音识别模型中使用语音数据作为语音识别模型的输入,通过自编码网络提取出语音数据特征；

(2)在提取语音数据特征的过程中，使用带有注意力机制的门控循环卷积神经网络(GRU)提取出语音和文本的信息，生成一个定长的上下文向量；

(3)在用于提取语音数据特征的第一门控循环卷积神经网络后连接解码器，所述解码器采用第二门控循环卷积神经网络，所述解码器将所述上下文向量转变为一段边长序列；

(4)将所述边长序列和数据库进行对比，得到需要回答的回答语音序列并输出语音。

2.根据权利要求1所述的基于人工智能的应用于电力电网领域客服领域的语音导航方法，其特征在于：所述语音识别模型中语音数据和对应的文本预料数据使用了基于门控卷积循环网络的编码器结构,所述编码器结构把一个不定长的输入序列转化成一个定长的上下文向量c，并在该过程中，将序列中的信息全部压缩到一个定长向量中,门控循环卷积网络的前向传播公式如下：

r_t＝σ(W_r·[h_t-1，x_t])

z_t＝σ(W_z·[h_t-l，x_t])

y_t＝σ(W_o·h_t)

其中h，x为输入序列；r为重置门；z为更新门；t代表每个序列下标；y为序列输出，W为学习的权重；

上下文向量表示如下式：

c＝q(h₁，h₂，…，h_Tx)

其中q为网络的最后一个隐含状态；h为序列中会产生的一个隐含状态；Tx代表总的序列个数。

3.根据权利要求1所述的基于端到端的应用于电力企业客服的语音导航方法，其特征在于：使用带有注意力机制的门控卷积循环网络通过注意力机制寻找出语音数据的上下文向量序列，在解码过程中注意力机制会在上下文向量序列中选取当前时刻需要关注的部分，其中公式表示为：

y_j＝g(y_j-1，S_j，c_j)

S_j＝f(y_j-1，S_j-1，C_j)

其中y为输出；s为解码器第j步的隐藏状态；c为第j步的注意力向量，α为注意力权重；h为每个序列的隐状态；Tx代表总的序列个数。

4.根据权利要求1所述的基于端到端的应用于电力企业客服的语音导航方法，其特征在于：在门控循环网络后加入解码器提取特征，提取的特征的函数如下：

y_j＝g(y₁，y₂，…y_j-1，c)＝g(y_j-1，s_j，i)

y为解码时第j步的输出，s为j时刻循环神经网络的隐状态，c为上下文向量；

在训练中损失函数使用交叉熵损失函数，能使网络模型达到更小的错误率，交叉熵损失函数L如下：

其中i表示第i个样本；l是第i个样本的标签；f表示第i个样本预测为第j个标签的概率。

5.根据权利要求1所述的基于端到端的应用于电力企业客服的语音导航方法，其特征在于：在上述步骤解码器屈的语音序列后和数据库进行对比匹配，得到文本序列。

6.根据权利要求1所述的基于端到端的应用于电力企业客服的语音导航方法，其特征在于：在得到文本序列后通过带有多头注意力机制的WaveNet构成的声码器以合成相应的语音，多头注意力机制数学表达式如下：

head＝Attention(DQ_i+FQ_i+GQ_i)

MultiHead(D，F，G)＝concat(head₁，head₂，...，head_i)Q

D为当前时间步的解码器输入，F为编码器输出，G为累加注意力权重，Q为待训练参数。