[发明专利]文本分类方法、电子设备

说明书

本申请实施例中提供了一种文本分类方法、电子设备及计算机程序产品。采用本申请中的方案，从样本文本中获取中心文本；根据中心文本与待分类文本之间的相似度，选择预设数量个中心文本作为相似中心文本；确定各相似中心文本的权重；根据各相似中心文本的权重确定待分类文本所属类别。本申请中的方案在选择预设数量个相似中心文本之后，不再简单的根据每类中相似中心文本的数量确定待分类文本的所属类别，而是确定各相似中心文本的权重，根据各相似中心文本的权重确定待分类文本所属类别，该方案可以提升文本分类的准确性。

技术领域

本申请涉及自然语言处理技术，具体地，涉及一种文本分类方法、电子设备。

背景技术

文本分类问题是自然语言处理领域中一个非常经典的问题，相关研究最早可以追溯到上世纪50年代，当时是通过专家规则(Pattern)进行分类，甚至在80年代初一度发展到利用知识工程建立专家系统，这样做的好处是短平快的解决top问题，但显然天花板非常低，不仅费时费力，覆盖的范围和准确率都非常有限。

伴随着统计学习方法的发展，特别是90年代后互联网在线文本数量增长和机器学习学科的兴起，逐渐形成了一套解决大规模文本分类问题的经典玩法，这个阶段的主要套路是人工特征工程+浅层分类模型。整个文本分类问题就拆分成了特征工程和分类器两部分。文本分类的分类器中，常用的方法有KNN (k-NearestNeighbor，邻近算法)，朴素贝叶斯，支撑向量机，神经网络，决策树，Rocchio等等。

发明内容

本申请实施例中提供了一种文本分类方法、电子设备。

根据本申请实施例的第一个方面，提供了一种文本分类方法，包括：

从样本文本中获取中心文本；

根据中心文本与待分类文本之间的相似度，选择预设数量个中心文本作为相似中心文本；

确定各相似中心文本的权重；

根据各相似中心文本的权重确定待分类文本所属类别。

可选地，从样本文本中获取中心文本，包括：

确定每个样本文本的特征词，其中，每个样本文本属于一个类别；

计算每个特征词在各样本文本中的权重；

根据每个特征词在各样本文本中的权重，将属于同一类别的样本文本进行聚类；

将每类中的样本文本合并成一个中心文本。

可选地，计算每个特征词在各样本文本中的权重，包括：

根据如下公式计算任一特征词t在任一样本文本中的权重：

其中，为t在中的权重，为t出现在中的次数，N为样本文本总数，n_i为所有样本文本中出现t的样本文本个数，为t出现在所属类别c中的次数，为t出现在所属类别c以外的类别中的次数，为在所属类别c以外的类别中，t出现在非样本文本的次数。

可选地，确定每个样本文本的特征词，包括：

在预设的分词方法中，确定每个样本文本对应的分词方法；

按对应的分词方法对每个样本文本进行分词处理，得到每个样本文本的特征词；

去除每个样本文本的特征词中的停用词；

将每个样本文本去除后的特征词确定为每个样本文本的特征词。

可选地，在预设的分词方法中，确定每个样本文本对应的分词方法，包括：

对于任一样本文本，根据如下公式计算分布概率最大的分词方法：