[发明专利]对文档进行分类的方法及装置

说明书

技术领域

本发明实施例涉及信息技术领域，尤其涉及一种对文档进行分类的方法及装置。

背景技术

随着互联网的快速发展，互联网上出现了海量的、异质的Web(网络)信息资源，其中Web文本信息占了主要地位。如何从庞大的web文本信息中获得高质量的准确信息，并有效地加以利用已经成为一个重要的研究课题。Web文本分类技术作为web信息挖掘的关键部分得到了人们的广泛关注。

web文本分类技术带来的各种应用已经广泛到应用到多个领域，比如：新闻出版按照栏目分类，实现通过新闻内容自动对新闻分类，如：政治、体育、军事、...；通过对用户的网页浏览历史记录分类获得用户的兴趣爱好，实现个性化新闻推荐、个性化广告等相关个性化推荐；对邮件内容进行分析归类实现垃圾邮件的过滤。

现有技术中的第一种对文档进行分类的方法为：采用相似度模型、概率模型、线性模型、非线性模型和组合模型等模型的传统分类方法。该传统分类方法需要人工标注大量训练语料，人工标注的训练语料的优劣直接影响到分类器的性能指标。人工标注训练语料指通过人为判断整理得到属于某个类的文档集合。通过人工标注的大量训练语料来训练分类器模型，当分类器模型训练好后，就可以用分类器模型对待分类文档进行文本分类了。

在实现本发明过程中，发明人发现上述现有技术中的第一种对文档进行分类的方法中至少存在如下问题：

训练语料的获取需要大量的专业领域的人工整理和收集工作，在很大程度上提高了文本分类的成本。

现有技术中用提前收集整理的训练语料得到的分类器很难对新生事物进行正确的分类，该方法分类的成本和投入较高，效率不高。

发明内容

本发明的实施例提供了一种对文档进行分类的方法及装置，以提高文档分类的效率。

一种对文档进行分类的方法，包括：

基于待分类文档的各个目标类对应的知识信息，对所述待分类文档的文本信息和词语集合执行协同聚类处理，获得知识信息聚类结果和所述待分类文档的词语聚类结果；

将所述待分类文档的词语聚类结果与所述待分类文档的各个目标类的关键词组进行相似度计算，得到第一计算结果；或者，将所述待分类文档的词语聚类结果与所述知识信息聚类结果进行相似度计算，得到第二计算结果；根据所述第一计算结果或第二计算结果对所述待分类文档进行分类。

一种对文档进行分类的装置，包括：

协同聚类处理模块，用于基于待分类文档的各个目标类对应的知识信息，对所述待分类文档的文本信息和词语集合进行协同聚类处理，获得知识信息聚类结果和所述待分类文档的词语聚类结果；

基于相似度的分类处理模块，用于将所述待分类文档的词语聚类结果与所述待分类文档的各个目标类的关键词组进行相似度计算，得到第一计算结果；或者，将所述待分类文档的词语聚类结果与所述知识信息聚类结果进行相似度计算，得到第二计算结果；根据所述第一计算结果或第二计算结果对所述待分类文档进行分类。

一种网络系统，包括至少一个计算机和至少一个服务器，所述计算机和服务器中至少有一个所述的对文档进行分类的装置。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例通过基于知识监督的协同聚类算法和相似度计算方法，完成待分类文挡的分类过程，提高了文档分类的效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的对文本信息进行分类的方法的实现原理示意图；

图2为本发明实施例一提供的对文本信息进行分类的方法的具体处理流程图；

图3为本发明实施例提供的对文本信息进行分类的装置的具体实现结构图；

图4为本发明实施例提供的一种网络系统的结构示意图。

具体实施方式

在本发明实施例中，基于待分类文档的各个目标类对应的知识信息，对所述待分类文档的文本信息和词语集合执行协同聚类处理，获得所述待分类文档的词语聚类结果和知识信息聚类结果。之后，将所述待分类文档的词语聚类结果与所述待分类文档的各个目标类的关键词组进行相似度计算，得到第一计算结果；或者，将所述待分类文档的词语聚类结果与所述知识信息聚类结果进行相似度计算，得到第二计算结果；根据所述第一计算结果或第二计算结果对所述待分类文档进行分类。