[发明专利]一种环境类投诉举报文本自动标注和分类方法

权利要求书

1.一种环境类投诉举报类文本自动标注和分类的方法，其特征在于：具体包括以下步骤：

S1：从海量无标签数据中进行随机抽样，构成一定规模的样本集；

S2：对样本数据进行预处理，包括中文分词、去停用词、滤除过短文本；

S3：利用Single-Pass算法对描述相似的文本进行聚类得到各种话题簇；

S4：分别计算各簇中每个词语的信息熵，将含信息量大、可以较为明显反映出投诉主要问题所在的词语提取出来，构建领域关键词典；

S5：通过相似度计算，从维基百科语料库中提取出近义词，扩展领域关键词典，进一步收录大量未登录词，提高领域关键词典的覆盖率；

S6：将领域关键词典作为自动分类的依据为大量无标签数据进行标注；

S7：通过深度学习网络TextCNN对数据进行特征提取，进行监督学习，构建分类模型。

2.按照权利要求1所述的一种环境类投诉举报类文本自动标注和分类的方法其特征生在于：，

所述步骤S2的预处理过程包括：

S201针对原始语料，采用Python的第三方库Jieba进行中文分词；

S202引入中文停用词表，去除语料中一些无意义的功能词，提高工作效率；

S203滤除经过步骤S201、S202后长度小于5个字的语句。

3.按照权利要求1所述的一种环境类投诉举报类文本自动标注和分类的方法，其特征在于：

所述步骤S3、S4和S5共同为构建领域特征词典的过程；步骤S3利用Single-Pass算法对少量数据进行聚类，提取粗粒度的特征词，构建种子词库；具体步骤为：

步骤S301，从输入文本序列D＝D(d₁，d₂，...，d_n)中选择第一条文本d₁作为第一个话题簇c₁；

步骤S302，选择第二条文本d₂，根据下面公式，计算d₂与c₁中所有文本的相似度值并求平均数，得到Sim_avg(d₂，c₁)；

上述公式中，w_1i与w_2i为分别代表了文档d₂和c₁中的向量；

步骤S303，若Sim_avg(d₂，c₁)大于相似度阈值Th，则将d₂归入话题簇c₁，跳转至步骤S305，否则跳转至步骤S304；

步骤S304，以d₂为基础创建新的话题簇c₂，跳转至步骤S306；

步骤S305，取d₃，重复步骤S302；

步骤S306，取d₃，计算d₃与目前所有话题簇，即c₁和c₂中所有文本的相似度值并求平均数，得到Sim_avg(d₃，c₁)，Sim_avg(d₃，c₂)；

步骤S307，若MAX(Sim_avg(d₃，c₁)，Sim_avg(d₃，c₂))≥Th，则将d₃归入具有最大相似度值的话题簇中，否则以d₃创建新的话题簇；

步骤S308，等待下一篇文档进入；

步骤S4和S5分别为构建、扩充领域特征词典。在本发明中，领域特征词典的作用是实现自动标注功能；

步骤S401，对步骤S3得到的话题簇分别进行词频统计，得到第i个簇中所有词汇的频次，记作c_i＝c(p₁，p₂，...，p_n)，其中p_j(j＝1，2，...，n)代表该簇中第j个词汇出现的频次，也即TF值；

步骤S402，再根据公式(2)计算c_i中所有词汇的IDF值，记作c_i＝c(q₁，q₂，...，q_n)，其中q_j(j＝1，2，...，n)代表该簇中第j个词汇的IDF值；

其中，N代表语料库中文本的总数，N(x)代表包含词语x的文本总数；

步骤S403，结合每个词语的词频及TF-IDF值，筛选出一批词频高、特征清晰的领域特征词，以这些词作为种子词，构建细胞词库。