[发明专利]一种基于ERNIE-BiGRU的中文文本分类方法

权利要求书

1.一种基于ERNIE-BiGRU的中文文本分类方法，其特征在于，该方法包括以下步骤：

步骤1：对待中文文本分类的数据集进行预处理，得到经过预处理的数据集，并建立ERNIE-BiGRU整体模型；

步骤2：将经过预处理的数据集输入ERNIE-BiGRU整体模型中的ERNIE预训练模型，得到句子级的词向量表示；

步骤3：将句子级的词向量表示输入ERNIE-BiGRU整体模型中的BiGRU层进一步提取句子中每个词的上下文信息；

步骤4：将句子级的词向量表示和句子中每个词的上下文信息输入ERNIE-BiGRU整体模型中的softmax层，得到最终中文文本分类结果。

2.根据权利要求1所述的一种基于ERNIE-BiGRU的中文文本分类方法，其特征在于，所述的步骤1中的预处理包括针对数字、英文和特殊符号的数据清洗处理。

3.根据权利要求1所述的一种基于ERNIE-BiGRU的中文文本分类方法，其特征在于，所述的步骤2中的ERNIE预训练模型由Transformer编码器和知识整合组成。

4.根据权利要求1所述的一种基于ERNIE-BiGRU的中文文本分类方法，其特征在于，所述的步骤2包括以下分步骤：

步骤201：设置ERNIE-BiGRU整体模型中的ERNIE预训练模型的参数，并将经过预处理的数据集输入ERNIE-BiGRU整体模型中的ERNIE预训练模型；

步骤202：利用ERNIE预训练模型中的Transformer编码器对文本信息进行编码，得到经过预处理的数据集对应的词向量表示；

步骤203：利用ERNIE预训练模型中的知识整合的基本遮掩在字的层面上对文本进行遮蔽，得到字的层次的知识整合信息；

步骤204：利用ERNIE预训练模型中的知识整合的短语级遮蔽将句子中的短语成分进行遮蔽，得到短语的层次的知识整合信息；

步骤205：利用ERNIE预训练模型中的知识整合的实体级遮蔽将句子中的实体信息进行遮蔽，得到实体的层次的知识整合信息；

步骤206：将字、短语和实体的层次的知识整合信息整合到经过预处理的数据集对应的词向量表示中，得到句子级的词向量表示。

5.根据权利要求4所述的一种基于ERNIE-BiGRU的中文文本分类方法，其特征在于，所述的步骤202中的Transformer编码器采用全attention机制的结构。

6.根据权利要求4所述的一种基于ERNIE-BiGRU的中文文本分类方法，其特征在于，所述的步骤202中的Transformer编码器的self-attention机制的描述公式为：

式中，Q、K、V均为输入字向量矩阵，d_k为输入向量维度，T表示转置。

7.根据权利要求1所述的一种基于ERNIE-BiGRU的中文文本分类方法，其特征在于，所述的步骤3中的BiGRU层的基本单元有前向传播的GRU单元和后向传播GRU单元组成。

8.根据权利要求1所述的一种基于ERNIE-BiGRU的中文文本分类方法，其特征在于，所述的步骤3中的BiGRU层，其对应的计算处理公式为：

z_t＝σ(ω_z·[h_t-1,x_t])

r_t＝σ(ω_r·[h_t-1,x_t])

式中，ω_r、ω_z和ω为权值矩阵，x_t为t时刻的输入，r_t为重置门，z_t为更新门，h_t-1为前一时刻的隐藏层状态，h_t为t时刻的隐藏层状态，σ为sigmoid非线性激活函数。