[发明专利]一种多标签文本分类方法及系统

权利要求书

1.一种多标签文本分类方法，其特征在于，包括：

根据文本内容预先确定标签空间；

对待分类的文本进行分词，获得文本序列；

假设在文本序列X中有L个单词，它的组成为(w1,w2,....,wL)，从嵌入矩阵E∈R d×|V|中获得单词表示矩阵e＝(e1,e2,...,eL)，ei∈Rd；其中，d是嵌入向量的维度，|v|是单词量的大小；其中所述嵌入矩阵为用word2vec将文本进行向量化所得到的矩阵；

在所述文本序列中嵌入位置矢量，并将其输入到训练好的多标签文本分类模型中，输出所述文本序列的标签预测；

其中，所述多标签文本分类模型包括编码器和解码器，所述文本序列通过编码器中的卷积块和自注意力机制分别获取文本序列的局部信息和全局信息，组合后的局部信息和全局信息通过解码器进行解码获得标签预测结果；

所述编码器中的卷积块采用一维卷积和非线性激活函数，其中，所述一维卷积的卷积核宽度与文本序列的单词数量相同，同时为了能够得到更高级别的局部信息，选择使用堆叠网络，并将剩余连接添加到块输出中；所述非线性激活函数采用门控线性单元，通过所述门控线性单元实现卷积输出的门控机制；

所述编码器中的自注意力机制采用多头自注意力机制，也就是通过多个自注意力机制叠加的方式。

2.如权利要求1所述的一种多标签文本分类方法，其特征在于，为了确保输入数据的均衡分布，采用层归一化来控制输入序列的分布和方差，所述层归一化通过将卷积块的卷积核的宽度设置成单调递减的形式。

3.如权利要求1所述的一种多标签文本分类方法，其特征在于，考虑到标签之间的相关性，将前一时刻所预测的标签结果使用到对当前标签的预测中去，所述解码器采用长短时记忆神经网络作为基本循环单元对序列进行解码从而获得最终的预测标签。

4.一种多标签文本分类系统，采用权利要求1-3任一项权利要求所述的多标签文本分类方法，其特征在于，包括：

标签空间获取单元，其用于根据文本内容预先确定标签空间；

文本序列获取单元，其用于对待分类的文本进行分词，获得文本序列；

标签预测单元，其用于在所述文本序列中嵌入位置矢量，并将其输入到训练好的多标签文本分类模型中，输出所述文本序列的标签预测；

其中，所述多标签文本分类模型包括编码器和解码器，所述文本序列通过编码器中的卷积块和自注意力机制分别获取文本序列的局部信息和全局信息，组合后的局部信息和全局信息通过解码器进行解码获得标签预测结果。

5.如权利要求4所述的一种多标签文本分类系统，其特征在于，所述编码器中的卷积块采用一维卷积和非线性激活函数，其中，所述一维卷积的卷积核宽度与文本序列的单词数量相同，同时为了能够得到更高级别的局部信息，选择使用堆叠网络，并将剩余连接添加到块输出中；所述非线性激活函数采用门控线性单元，通过所述门控线性单元实现卷积输出的门控机制。

6.如权利要求4所述的一种多标签文本分类系统，其特征在于，考虑到标签之间的相关性，将前一时刻所预测的标签结果使用到对当前标签的预测中去，所述解码器采用长短时记忆神经网络作为基本循环单元对序列进行解码从而获得最终的预测标签。

7.一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3任一项所述的一种多标签文本分类方法。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3任一项所述的一种多标签文本分类方法。