[发明专利]一种获取多层次上下文语义的文本分类方法

权利要求书

1.一种获取多层次上下文语义的文本分类方法，其特征在于：包括如下步骤：

步骤1)对获取数据集中的文本进行分词、预训练词向量以及拼接，生成拼接后的文本矩阵；

其中，获取数据集包括训练集及验证集；

具体包括如下子步骤：

步骤1-1)对获取的数据集进行分词；

其中，获取的数据集包括训练集及验证集；训练集中包含M条文本，其中每一条文本的长度相同，记为m；

步骤1-2)预训练词向量，即使用word2vec模型对训练集进行预训练，得到v个不同的词；

其中，v个不同的词中每个词的词向量维度为d；

步骤1-3)依次拼接训练集中每条文本的词向量得到M个文本矩阵；

步骤1-3)，具体包括如下子步骤：

步骤1-3-1)初始化变量j＝1，

步骤1-3-2)基于(1)拼接第j条文本的所有词向量得到文本矩阵X；

X＝[x₁,x₂,...,x_i,...,x_m]_m×d (1)

其中，x_i∈R^d表示第j条文本中第i个词的词向量；

步骤2)将步骤1-3-2)得到的文本矩阵输入到Dense-BLSTM-CNN模型的第一个中间层，得到第一个中间层的输出向量，通过第一个中间层的输出向量得到第二个中间层的输出向量，依次得到所有中间层的输出向量C₁,C₂,…,C_L；

其中，Dense-BLSTM-CNN模型有L个中间层，每个中间层包括两部分：双向循环神经网络Bi-LSTM和CNN卷积网络的Max-pooling层；

具体包括如下子步骤：

步骤2-1)初始化变量l＝1；

其中，l表示第l个中间层，取值范围1≤l≤L

步骤2-2)将步骤1-3-2)得到的文本矩阵输入到Dense-BLSTM-CNN模型的第一个中间层，得到第一个中间层中Bi-LSTM网络的输出B₁；

其中，表示第一个中间层的Bi-LSTM网络输出的第i个位置的词向量表示，k表示每个Bi-LSTM网络的隐藏层尺寸，因此2k是Bi-LSTM网络的输出尺寸；

步骤2-3)循环变量l，得到每个中间层中Bi-LSTM网络的输出B_l，具体通过步骤2-3-1)到步骤2-3-4)实现：

步骤2-3-1)：将第一个中间层的输入，即1-3-2)得到的文本矩阵和前l-1个中间层中Bi-LSTM网络的输出B₁,B₂,…,B_l-1拼接，得到第l层的输入X_l，具体为：

步骤2-3-1-1)基于(3)拆分第l-1个中间层Bi-LSTM网络输出的上下文词向量得到上文表示和下文表示

步骤2-3-1-2)连接第一个中间层的输入，即1-3-2)得到的文本矩阵和前l-1个中间层中Bi-LSTM网络的输出B₁,B₂,…,B_l-1，得到第l个中间层的输入X_l：

其中，表示第i个位置的词向量，连接操作表示为(5)：

其中，n为每个词向量的维度，因为第一个中间层的输入词向量维度为d,每个中间层中Bi-LSTM网络的输出尺寸为2k，因此n表示为(6)：

n＝d+(l-1)×2k (6)

步骤2-3-2)：将第l个中间层的输入X_l输入到Dense-BLSTM-CNN模型的第l个中间层，得到第l个中间层中Bi-LSTM网络的输出B_l，具体通过(7)实现：

其中：表示第l个中间层中Bi-LSTM网络输出的第i个位置的词向量；k表示每个Bi-LSTM网络的隐藏层尺寸，因此2k是Bi-LSTM网络的输出尺寸；

步骤2-3-3)：l值增加1；判断l的值，若l≤L，跳转至步骤2-3)；否则当lL，跳转至步骤2-4)；

步骤2-4)将每个中间层中Bi-LSTM网络的输出B₁,B₂,…,B_L分别输入到每个中间层的Max-pooling层，给出每个中间层的输出C₁,C₂,…,C_L；

其中，Max-pooling窗口大小为p×2k；

其中，pm，2k是每个Bi-LSTM网络的输出尺寸，步长为s,填充窗口尺寸pd，具体为：

步骤2-4-1)依次循环L个中间层，将每个中间层中Bi-LSTM网络的输出B_l输入到该中间层的Max-pooling层，得到C_l：

其中，C_l是一个q维的向量，表示为：

q＝(m-p+pd)÷s+1 (9)

步骤3)连接Dense-BLSTM-CNN模型所有中间层的输出向量C₁,C₂,…,C_L，基于(10)拼接每个中间层的输出，得到特征向量F：

F＝(C₁,C₂，...，C_L) (10)

其中，C₁，C₂，...，C_L来源于公式(8)；

步骤4)将步骤3)得到的特征向量输入到全连接神经网络层中进行分类,得到分类结果；

步骤5)j值增加1，判断j的值，若1≤j≤M，跳转至步骤1-3-2)；否则当jM，结束本方法。