[发明专利]基于K选择策略稀疏自注意力的文本分类方法及系统

说明书

本发明公开了基于K选择策略稀疏自注意力的文本分类方法及系统，属于自然语言处理技术领域，本发明要解决的技术问题为Transformer模型自注意力机制的高复杂度且Transformer在较长文本数据中，对长度有限制，采用的技术方案为：该方法是以文本分类作为下游任务，通过Spa‑k Transformer对不同文本长度的文本分类数据集进行数据清洗以及数据集划分，再利用PyTorch框架构建自注意力模型Spa‑k Transformer进行训练与测试；并采用K值选择策略，使K值索引的范围缩小；同时采用one‑hot编码和具有相对位置信息的R‑Sinusoidal位置编码优化自注意力模型Spa‑k Transformer；具体步骤如下：S1、数据集预处理；S2、神经网络模型训练；S3、结果预测。

技术领域

本发明涉及自然语言处理技术领域，具体地说是一种基于K选择策略稀疏 自注意力的文本分类方法及系统。

背景技术

文本分类是一项传统的NLP子任务，有效前期的分类问题主要集中在基于 传统机器学习算法的研究及人工特征的提取，随着数据的增长和特征的增加， 依赖传统算法已经不能满足需求。近年来，深度学习算法在各大计算机领域都 取得长足进步，特别在图像处理、语音识别及自然与语言处理等问题做出巨大 贡献。

Transformer以及其衍生模型的出现给自然语言处理的各项任务带来了新 的机遇。Transformer不仅仅是一种单独的模型，而是以Transformer为核心 创建出一个全新的文本任务体系。因此Transformer成为后来众多强大模型的 重要组件，如BERT以及更多的模型。Transformer并不是一个完美的框架，自 注意力过程中产生庞大的计算量依旧困扰着研究人员。

故如何解决Transformer模型自注意力机制的高复杂度且Transformer在 较长文本数据中，对长度有限制是目前现有技术中亟待解决的问题。

发明内容

本发明的技术任务是提供一种基于K选择策略稀疏自注意力的文本分类方 法及系统，来解决Transformer模型自注意力机制的高复杂度且Transformer 在较长文本数据中，对长度有限制的问题。

本发明的技术任务是按以下方式实现的，一种基于K选择策略稀疏自注意 力的文本分类方法，该方法是以文本分类作为下游任务，通过Spa-k Transfor mer对不同文本长度的文本分类数据集进行数据清洗以及数据集划分，再利用P yTorch框架构建自注意力模型Spa-k Transformer进行训练与测试；并采用K (key)值选择策略，使K值索引的范围缩小，在自注意力的过程中发挥重要作 用；同时采用one-hot编码和具有相对位置信息的R-Sinusoidal位置编码优化 自注意力模型Spa-k Transformer；具体步骤如下：

S1、数据集预处理；

S2、神经网络模型训练；

S3、结果预测：将待识别的测试集文本数据输入到训练好的神经网络模型 中，得到该对象的预测结果，完成文本分类。

作为优选，所述步骤S1中数据集预处理具体如下：

S101、遍历不同数据集文件夹中的.txt记录文件，获取文件名称，并记录 文件路径；

S102、编写与执行脚本命令批量运行DataPro.py打开.txt记录文件，读 取原始记录数据，形成NLPCC.txt、THUCTC.txt、AG_News.txt以及IMDB.txt；

S103、提取多个基于.txt记录文件的文本数据；

S104、清洗文本数据以及填补缺失值；

S105、利用jieba分词器对中文数据集NLPCC task2及THUCTC进行分词处 理；