[发明专利]文本分类方法及装置

说明书

本申请提供一种文本分类方法及装置，涉及人工智能领域的自然语言处理技术和深度学习技术，该方法包括：获取待分类文本和预设文本库；对待分类文本进行分词和词性标注处理，得到多个分词结果和每个分词结果对应的词性标注结果；将每个分词结果与预设文本库相匹配，基于匹配结果和词性标注结果确定目标分词结果以及目标分词结果对应的第一权重信息；基于第一权重信息，确定多个分词结果中除目标分词结果之外的其他分词结果对应的第二权重信息；根据第一权重信息和第二权重信息，得到待分类文本的文本特征信息；基于文本分类模型对文本特征信息进行相关性识别处理，得到待分类文本的文本分类结果。本申请能够提高文本分类的准确率和效率。

技术领域

本申请属于计算机技术领域，具体涉及一种文本分类方法及装置。

背景技术

文本（比如，公文文本）分类是自然语言处理中的一项基础任务。相关技术中通常采用基于模板的文本分类方法、基于信息检索的文本主题分类方法、基于文本相似性的分类方法对文本进行分类。

基于模板的文本分类方法对规则和模板依赖较大，在文本分类过程中会消耗较多的系统资源，且构建的规则的泛化能力较低，通用性不足，导致文本分类准确率较低。基于信息检索的文本主题分类方法通过训练分类模型进行检索和分类，但是文本分类是多分类问题，多类别数据不均衡使得分类模型预测的准确率较低。基于文本相似性的分类方法将直接对文本进行句子相似度计算所得到的结果作为文本分类的依据，然而该方法忽略了文本本身的内容之间的相似性，且没有将文本的关键信息区分处理，导致文本分类准确率较低。

发明内容

为了解决上述技术问题，本申请提供一种文本分类方法及装置。

一方面，本申请提出了一种文本分类方法，所述方法包括：

获取待分类文本和预设文本库；

对所述待分类文本进行分词和词性标注处理，得到所述待分类文本的多个分词结果和每个分词结果对应的词性标注结果；

将每个分词结果与所述预设文本库相匹配，基于匹配结果和所述词性标注结果从所述多个分词结果中确定出目标分词结果以及所述目标分词结果在所述待分类文本中的第一权重信息；

基于所述第一权重信息，确定所述多个分词结果中除所述目标分词结果之外的其他分词结果在所述待分类文本中的第二权重信息；

根据所述第一权重信息和所述第二权重信息，对所述目标分词结果的特征信息和所述其他分词结果的特征信息进行加权，得到所述待分类文本的文本特征信息；

基于文本分类模型对所述文本特征信息进行相关性识别处理，得到所述待分类文本的文本分类结果，所述文本分类模型基于标注有类别标签的样本文本对神经网络进行文本相关性学习得到。

另一方面，本申请实施例提供了一种文本分类装置，所述装置包括：

获取模块，用于获取待分类文本和预设文本库；

分词和词性标注模块，用于对所述待分类文本进行分词和词性标注处理，得到所述待分类文本的多个分词结果和每个分词结果对应的词性标注结果；

第一权重信息确定模块，用于将每个分词结果与所述预设文本库相匹配，基于匹配结果和所述词性标注结果从所述多个分词结果中确定出目标分词结果以及所述目标分词结果在所述待分类文本中的第一权重信息；

第二权重信息确定模块，用于基于所述第一权重信息，确定所述多个分词结果中除所述目标分词结果之外的其他分词结果在所述待分类文本中的第二权重信息；

加权模块，用于根据所述第一权重信息和所述第二权重信息，对所述目标分词结果的特征信息和所述其他分词结果的特征信息进行加权，得到所述待分类文本的文本特征信息；