[发明专利]基于RNN的解码器隐状态确定方法、设备和存储介质

权利要求书

1.一种确定基于循环神经网络的解码器的隐状态的方法，其特征在于，包括：

获取解码器的当前时间步的解码端输入；

获取当前时间步之前每个时间步的解码器隐状态；

根据所获取的当前时间步之前每个时间步的解码器隐状态，计算得到当前时间步的解码器隐状态历史向量；

获取当前时间步的源上下文向量；

将所述解码端输入、所述解码器隐状态历史向量和所述源上下文向量相加，作为所述解码器在当前时间步的第二输入量；

根据第二输入量和在当前时间步之前的上一时间步的解码器隐状态，计算当前时间步的解码器隐状态。

2.根据权利要求1所述的方法，其特征在于，所述根据第二输入量和在当前时间步之前的上一时间步的解码器隐状态，计算当前时间步的解码器隐状态包括：

获取上一时间步的解码器单元状态；

根据第二输入量、上一时间步的解码器单元状态、上一时间步的解码器隐状态，计算当前时间步的解码器隐状态。

3.根据权利要求2所述的方法，其特征在于，还包括：

根据当前时间步的第二输入量、上一时间步的解码器单元状态和上一时间步的解码器隐状态，计算得到当前时间步的解码器单元状态。

4.根据权利要求2和3中任一项所述的方法，其特征在于，所述根据所获取的当前时间步之前每个时间步的解码器隐状态，计算得到当前时间步的解码器隐状态历史向量包括：

计算当前时间步之前所有时间步的解码器隐状态的加权和，作为当前时间步的解码器隐状态历史向量。

5.根据权利要求4所述的方法，其特征在于，所述计算当前时间步之前所有时间步的解码器隐状态的加权和包括：

根据以下公式计算当前时间步之前所有时间步的解码器隐状态的加权和，作为当前时间步的解码器隐状态历史向量

其中，t表示当前时间步，t-1表示当前时间步之前的上一时间步，s_j表示时间步j的解码器隐状态，α_tj为s_j的权重值并且是根据上一时间步t-1的解码器隐状态s_t-1与s_j计算出的。

6.根据权利要求5所述的方法，其特征在于，α_tj是根据以下公式中的任一个而计算出的：

其中为s_j的转置向量；

α_tj＝sigmoid(s_t-1V^T+s_jK^T)，其中，V和K为所述循环神经网络的训练参数，V^T为V的转置向量，K^T是K的转置向量；

其中，e_tj＝V^T(Us_t-1+Ws_j)，e_tk＝V^T(Us_t-1+Ws_k)，U和W为所述循环神经网络的训练参数。