[发明专利]对文档进行分类的方法及装置无效
申请号: | 200910081157.0 | 申请日: | 2009-04-03 |
公开(公告)号: | CN101853250A | 公开(公告)日: | 2010-10-06 |
发明(设计)人: | 薛贵荣;刘存伟;黄西华;万嘉;陆元飞 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京凯特来知识产权代理有限公司 11260 | 代理人: | 郑立明 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文档 进行 分类 方法 装置 | ||
1.一种对文档进行分类的方法,其特征在于,包括:
基于待分类文档的各个目标类对应的知识信息,对所述待分类文档的文本信息和词语集合进行协同聚类处理,获得知识信息聚类结果和所述待分类文档的词语聚类结果;
将所述待分类文档的词语聚类结果与所述待分类文档的各个目标类的关键词组进行相似度计算,得到第一计算结果;
或者,
将所述待分类文档的词语聚类结果与所述知识信息聚类结果进行相似度计算,得到第二计算结果;
根据所述第一计算结果或第二计算结果对所述待分类文档进行分类。
2.根据权利要求1所述的对文档进行分类的方法,其特征在于,所述方法还包括:
确定待分类文档的类别体系,该类别体系中包括各个目标类和相应的子类,定义各个目标类的关键词组;
通过各个目标类的关键词组,搜索获取知识数据库中能够描述各个目标类的纯文本的知识信息,将所述知识信息和相应的目标类进行关联存储。
3.根据权利要求2所述的对文档进行分类的方法,其特征在于,所述方法还包括:
从互联网中获取网页和文档信息,对所述网页和文档信息进行解析,将解析后获取的纯文本的数据信息存放在知识数据库中。
4.根据权利要求1所述的对文档进行分类的方法,其特征在于,所述的方法还包括:
对待分类文档的内容进行解析,获得待分类文档的文本信息,对该文本信息进行分词、或去停用词、或去生僻词的处理后,获得待分类文档的词语集合。
5.根据权利要求1至4任一项所述的对文档进行分类的方法,其特征在于,所述的基于所述待分类文档的各个目标类对应的知识信息,对所述文本信息和词语集合执行协同聚类处理,获得所述待分类文档的词语聚类结果和知识信息聚类结果包括:
对所述文本信息和词语集合执行协同聚类处理,对所述知识信息和所述词语集合执行协同聚类处理;
确定基于知识信息的所述文本信息和词语集合的协同聚类互信息损失,当判断所述协同聚类互信息损失不是最小时,继续对所述文本信息和词语集合、知识信息和词语集合执行协同聚类处理,继续判断所述协同聚类互信息损失是不是最小;当判断所述协同聚类互信息损失为最小时,输出最优的待分类文档的词语集合和文本聚类结果,输出知识信息聚类结果。
6.根据权利要求5所述的方法,其特征在于,所述的将所述待分类文档的词语聚类结果与所述待分类文档的各个目标类的关键词组或者与所述知识信息聚类结果进行相似度计算,根据所述相似度计算的结果对所述待分类文档进行分类包括:
获取所述词语聚类结果中的文本簇,将该文本簇分别与所述待分类文档的每个目标类的关键词组进行相似度计算,将最高的相似度值对应的目标类作为所述文本簇的分类结果;依次将所述词语聚类结果中的每个文本簇进行分类,完成所述待分类文挡的分类;
或者,
获取所述词语聚类结果中的文本簇,将该文本簇分别与所述知识信息聚类结果中的每个目标类的文本簇进行相似度计算,将最高的相似度值对应的所述知识信息聚类结果中的目标类作为所述文本簇的分类结果;依次将所述词语聚类结果中的每个文本簇进行分类,完成所述待分类文挡的分类。
7.一种文档分类装置,其特征在于,包括:
协同聚类处理模块,用于基于待分类文档的各个目标类对应的知识信息,对所述待分类文档的文本信息和词语集合进行协同聚类处理,获得知识信息聚类结果和所述待分类文档的词语聚类结果;
基于相似度的分类处理模块,用于将所述待分类文档的词语聚类结果与所述待分类文档的各个目标类的关键词组进行相似度计算,得到第一计算结果;或者,将所述待分类文档的词语聚类结果与所述知识信息聚类结果进行相似度计算,得到第二计算结果;根据所述第一计算结果或第二计算结果对所述待分类文档进行分类。
8.根据权利要求7所述的对文档进行分类的装置,其特征在于,所述装置还包括:
预处理模块,用于对待分类文档进行预处理,获得待分类文档的文本信息和词语集合。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/200910081157.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:依据使用者数据调整使用者界面的系统、装置及其方法
- 下一篇:扩展适配卡