[发明专利]一种文本分类方法及装置在审
申请号: | 201811368724.6 | 申请日: | 2018-11-16 |
公开(公告)号: | CN109684627A | 公开(公告)日: | 2019-04-26 |
发明(设计)人: | 熊安斌;车文彬;冯晓明;蒋晓宇 | 申请(专利权)人: | 北京奇虎科技有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27;G06F16/35 |
代理公司: | 北京华沛德权律师事务所 11302 | 代理人: | 房德权 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 待分类文本 文本分类 集成分类器 目标词条 词条 词库 预设 匹配 文本分类模型 类别确定 匹配成功 存储 失败 | ||
本发明公开了一种文本分类方法及装置,其中所述方法包括:接收待分类文本;根据所述待分类文本,在预设词库中匹配与所述待分类文本对应的目标词条,其中,所述预设词库中存储有多个词条,以及每个词条所属的类别;若匹配成功,则将所述目标词条所属的类别确定为所述待分类文本所属的类别;若匹配失败,则将所述待分类文本输入到集成分类器中,获得所述待分类文本的所属类别,其中,所述集成分类器中设置有一个或一个以上的文本分类模型。本发明解决了现有技术的文本分类不够准确,容易出现错误的问题。
技术领域
本发明涉及计算机技术领域,尤其涉及一种文本分类方法及装置。
背景技术
随着社会和时代的发展,人们的工作和生活越来越依赖互联网,通过互联网可以查询资料,购买商品,投放广告等。但目前互联网上用户生产与检索的自然文本每日呈指数级的速度增长。对于网络上的庞杂的内容,通过搜索引擎检索内容时,容易出现信息超载的情况,因此需要对文本信息进行分类。同时,文本分类能够帮助业务部门进行流量分析、内容审核、构建用户/产品画像、精准推荐、关键词扩簇、CTR预估等等,具有极其重要的意。
目前的文本分类通常需要对词条构建特征向量,然后通过机器学习所训练的模型进行分类,这种分类方法对文本的类型理解往往不够准确,容易出现分类错误。
发明内容
鉴于上述问题,本发明提出了一种文本分类方法及装置,解决了现有技术的文本分类不够准确,容易出现错误的问题。
第一方面,本申请通过本申请的一实施例提供如下技术方案:
一种文本分类方法,所述方法包括:接收待分类文本;根据所述待分类文本,在预设词库中匹配与所述待分类文本对应的目标词条,其中,所述预设词库中存储有多个词条,以及每个词条所属的类别;若匹配成功,则将所述目标词条所属的类别确定为所述待分类文本所属的类别;若匹配失败,则将所述待分类文本输入到集成分类器中,获得所述待分类文本的所属类别,其中,所述集成分类器中设置有一个或一个以上的文本分类模型。
优选地,所述根据所述待分类文本,在预设词库中匹配与所述待分类文本对应的目标词条,包括:根据所述待分类文本,按照预设顺序,依次在多个预设词库中匹配与所述待分类文本对应的目标词条,所述多个预设词库中所存储的词条不同。
优选地,所述根据所述待分类文本,按照预设顺序,依次在多个预设词库中匹配与所述待分类文本对应的目标词条,包括:获取第一预设词库,所述第一预设词库中存储有M个词条,以及所述M个词条中每个词条所属的类别,所述M个词条中每个词条所属的类别均由人工方式标记,M为正整数;根据所述待分类文本,在第一预设词库中匹配与所述待分类文本对应的第一词条;若匹配成功,则将所述第一词条确定为所述目标词条。
优选地,所述根据所述待分类文本,在第一预设词库中匹配与所述待分类文本对应的第一词条之后,还包括:若匹配失败,则获取第二预设词库,所述第二预设词库中存储有N个词条,以及所述N个词条中每个词条所属的类别,所述第二预设词库由预设行业词库网站提供,N为正整数;根据所述待分类文本,在第二预设词库中匹配与所述待分类文本对应的第二词条;若匹配成功,则将所述第二词条确定为所述目标词条。
优选地,所述根据所述待分类文本,在第二预设词库中匹配与所述待分类文本对应的第二词条之后,还包括:若匹配失败,则获取第三预设词库,所述第三预设词库中存储有P个词条,以及所述P个词条中每个词条所属的类别,所述第三预设词库由规则引擎提供,P为正整数;根据所述待分类文本,在第三预设词库中匹配与所述待分类文本对应的第三词条;若匹配成功,则将所述第三词条确定为所述目标词条;若匹配失败,则执行所述将所述待分类文本输入到集成分类器中,获得所述待分类文本的所属类别。
优选地,所述文本分类模型是由所述第一预设词库训练获得。
优选地,所述集成分类器中的文本分类模型数量大于2,每个所述文本分类模型的结构均不相同。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司,未经北京奇虎科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811368724.6/2.html,转载请声明来源钻瓜专利网。