[发明专利]一种基于TF-IDF和CNN启发式短文本特征提取与分类方法

权利要求书

1.一种基于TF-IDF和CNN启发式短文本特征提取与分类方法，其特征在于，包括如下步骤：

(1)对短文本集用结巴分词工具实现中文的文本分词，然后去除文本噪声词，得到文本数据集UNION，包括：

(1.1)定义短文本集L＝{l₁,l₂,…,l_a}，其中，l是小于等于50个中文字符的文本，将L进行类别标记，定义CATE＝{CATE₁,CATE₂,…,CATE_b}表示标记后的类别文本集；

(1.2)调用结巴分词工具，对CATE进行中文分词，得到词集SEG＝{seg_i1,seg_i2,seg_i3,…,seg_ic}，其中，seg_i∈CATE_i，i∈[1,b]；

(1.3)定义文本常用停用词集SWORD＝{sword₁,sword₂,…,sword_d}；

(1.4)定义变量UNION存储去除停用词库后信息，并初始化为字符s；

(1.5)如果seg_i∈SWORD，UNION＝UNION+seg_i，否则，seg_i＝seg_i+1；

(1.6)将UNION写入到目标文件中；

(2)使用TF-IDF特征选择方法处理文本数据集UNION，得出选择后的文本特征值VALUE1，将VALUE1导入到卷积神经网络模型，集成标签并且生成批处理迭代器M，包括：

(2.1)定义列名name，weight分别表示待存入数据的名称和权重；

(2.2)去除停用词后的词库集合UNION＝{union₁,union₂,…,union_n}；

(2.3)将词库集合UNION转化为词频矩阵，然后计算词频矩阵中每个词语的TF-IDF值TI＝{ti₁,ti₂,…,ti_n}；

(2.4)定义集合VECTOR＝{vector₁,vector₂,…,vector_n}分别表示UNION中对应元素的向量值，将VECTOR中元素提取出特征值名称，存储到集合WORD＝{word₁,word₂,…,word_n}中，其中，word_j的值对应于vector_j，j∈[1,n]；

(2.5)定义WEIGHT＝{weight₁,weight₂,…,weight_n}表示TI数组化后的结果，其中，weight_k的值对应于ti_k的值，k∈[1,n]；

(2.6)求得集合WEIGHT的元素个数为L1，集合WORD的元素个数为L2，循环遍历L1，L2；

(2.7)定义集合VALUE＝{name₁,weight₁；name₂,weight₂；…；name_n,weight_n}，将遍历得到的WORD_t，WEIGHT_t赋值给name_t，weight_t，其中，t∈[1,n]；

(2.8)定义LABEL＝{label₁,label₂,…,label_b}分别表示类别标签，CATE＝CATE₁+CATE₂+…+CATE_b；

(2.9)如果Shuffle为真，随机打乱原来的数据，并将洗牌后的数据加入到CATE中；

(2.10)计算每一轮迭代处理批次的大小，定义开始索引start_index和结束索引end_index，生成从开始索引到结束索引的批处理集成器M；

(3)使用嵌入层、卷积层、池化层和softmax方法搭建CNN神经网络文本分类模型，导入M到模型中；

(4)配置训练集模型的超参数和训练参数，给出训练集每1步和测试集每100步的损失函数和准确度，生成训练模型MODEL；

(5)最后将待分类短文本集进行预处理之后，得到数据集VALUE2，导入MODEL到预测模型，得出分类结果。