[发明专利]一种文档分类方法及装置

权利要求书

1.一种文档分类方法，其特征在于，包括：

创建分类语料库，并将所述分类语料库划分为训练集和测试集，所述分类语料库包括多个已标注文档类型的文档；

根据所述分类语料库对应的词典，分别从所述训练集和所述测试集的每个文档中提取文档特征向量，所述词典包括所述分类语料库中所有文档的有效分词；

基于所述训练集中每个文档的文档特征向量分别对多个机器学习模型进行训练，得到每个所述机器学习模型对应的分类模型；

利用所述测试集中每个文档的文档特征向量和已标注文档类型，分别对每个所述分类模型的分类效果进行评价，得到每个所述分类模型的评价指标值；

根据每个所述分类模型的评价指标值，确定最终的文档分类模型；

利用最终的文档分类模型进行文档分类。

2.根据权利要求1所述的方法，其特征在于，所述根据所述分类语料库对应的词典，分别从所述训练集和所述测试集的每个文档中提取文档特征向量，包括：

分别对所述训练集和所述测试集的每个文档进行分词处理；

根据所述词典，对分词处理后的每个文档进行向量化处理，得到所述训练集和所述测试集中每个文档的文档特征向量。

3.根据权利要求2所述的方法，其特征在于，所述分别对所述训练集和所述测试集的每个文档进行分词处理，包括：

分别对所述训练集和所述测试集的每个文档进行分词处理；

根据预先设定的停用词表，剔除所述训练集和所述测试集中每个文档的分词结果中的停用词，得到所述训练集和所述测试集中每个文档的有效分词。

4.根据权利要求3所述的方法，其特征在于，所述根据所述词典，对分词处理后的每个文档进行向量化处理，得到所述训练集和所述测试集中每个文档的文档特征向量，包括：

将所述训练集和所述测试集中每个文档转换为一个多维向量，多维向量的维数与所述词典的总词数相同，多维向量每个维度分别对应所述词典中的一个词；

分别对所述训练集和所述测试集中每个文档的有效分词与所述词典进行匹配，根据匹配结果对相应的多维向量进行赋值；

对每个赋值后的多维向量进行特征优化，得到所述训练集和所述测试集中每个文档的文档特征向量。

5.根据权利要求1所述的方法，其特征在于，所述分类模型的评价指标包括召回率和正确率，所述根据每个所述分类模型的评价指标值，确定最终的文档分类模型，包括：

根据预先设定的召回率权重和正确率权重，对每个所述分类模型的召回率和正确率进行加权求和，得到每个所述分类模型的评价值；

将评价值最高的所述分类模型确定为最终的文档分类模型。

6.一种文档分类装置，其特征在于，包括：

分类语料库创建单元，用于创建分类语料库，并将所述分类语料库划分为训练集和测试集，所述分类语料库包括多个已标注文档类型的文档；

特征向量提取单元，用于根据所述分类语料库对应的词典，分别从所述训练集和所述测试集的每个文档中提取文档特征向量，所述词典包括所述分类语料库中所有文档的有效分词；

分类模型训练单元，用于基于所述训练集中每个文档的文档特征向量分别对多个机器学习模型进行训练，得到每个所述机器学习模型对应的分类模型；

分类模型评价单元，用于利用所述测试集中每个文档的文档特征向量和已标注文档类型，分别对每个所述分类模型的分类效果进行评价，得到每个所述分类模型的评价指标值；

最终分类模型确定单元，用于根据每个所述分类模型的评价指标值，确定最终的文档分类模型；

文档分类单元，用于利用最终的文档分类模型进行文档分类。

7.根据权利要求6所述的装置，其特征在于，所述特征向量提取单元包括：

分词处理子单元，用于分别对所述训练集和所述测试集的每个文档进行分词处理；

向量化处理子单元，用于根据所述词典，对分词处理后的每个文档进行向量化处理，得到所述训练集和所述测试集中每个文档的文档特征向量。