[发明专利]一种基于自动编码的文本表示学习方法、系统及电子设备

权利要求书

1.一种基于自动编码的文本表示学习方法，其特征在于，包括以下步骤：

步骤a：使用编码器对原始文本进行编码，生成原始文本编码后的向量表达，并通过编码矩阵输出编码后的文本；

步骤b：随机删除所述原始文本中的词，并将被删除的词的词向量置0，将未被删除的词使用预训练好的词向量表示，得到新的文本；

步骤c：将所述编码后的文本与新的文本输入到解码器中，并通过解码矩阵预测所述被删除的在时间片t的待预测词的向量表达；

采用双向长短期记忆的编码网络BI-LSTM作为解码器，双向长短期记忆的编码网络BI-LSTM通过被预测词的上下文和给定文本的编码来预测被预测词的隐含表达；

令和分别为前向长短期记忆网络和反向长短期记忆网络的参数，则：

然后可以通过下式得到

公式(7)中，为与的串联，W_p为可训练的解码矩阵，b_p为可训练的偏置值，为t时刻前向网络神经元中的值，为t时刻反向网络神经元中的值；

在解码器训练过程中，以待预测词向量表达与实际词向量表达x_t的差值作为训练的损失函数，损失函数设置为：

公式(8)中，c_j为表示当前词w_j是否被删除的参数：

对于有N个文本的训练集，对编码器及解码器联合，进行端到端的训练，训练目标函数为：

公式(10)中，θ_e为编码器的参数，θ_d为解码器的参数，训练过程可用梯度下降方法实现。

2.根据权利要求1所述的基于自动编码的文本表示学习方法，其特征在于，所述步骤a还包括：将所述原始文本中的每个词用预训练好的词向量表示；具体为：设所述原始文本d由n个词组成，d＝[w₁,w₂,…,w_i,...,w_n]，w_i为所述原始文本中的第i个词，采用word2vec模型得到每个词的低维向量表达，将所述原始文本中的每个词通过训练好的向量映射到低维空间中。

3.根据权利要求2所述的基于自动编码的文本表示学习方法，其特征在于，在所述步骤a中，所述编码器为长短期记忆网络LSTM；设x_i为词w_i的低维向量表达，所述长短期记忆网络LSTM中的隐含状态z_i更新公式为：

上述公式中，θ_e表示编码器的待训练参数；

然后，通过如下公式作为原始文本的向量表达：

e＝tanh(W_ez_n+b_e)

上述公式中，W_e为一个可训练的编码矩阵，b_e为可训练的偏置值，Z_n为第n个隐含状态。

4.根据权利要求1所述的基于自动编码的文本表示学习方法，其特征在于，在所述步骤c中，所述通过解码矩阵预测所述被删除的在时间片t的待预测词的向量表达具体为：假设所述新的文本为{x′₁,…,x′_n}，x_zero为一个长度等于|x_t|的全0向量：

设x_t为位于时间片t的待预测词的实际词向量表达，n为文本长度，DecodeNet为解码网络，则通过解码器预测的词向量表达为：