[发明专利]一种文本分类方法及装置有效
申请号: | 201910149829.0 | 申请日: | 2019-02-28 |
公开(公告)号: | CN109948149B | 公开(公告)日: | 2020-09-11 |
发明(设计)人: | 王兴光;牛成 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/30;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 郭润湘;李娟 |
地址: | 518044 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 分类 方法 装置 | ||
本发明涉及计算机技术领域,尤其涉及一种文本分类方法及装置,获取当前层语义模块输入的文本的分词结果中各分词的特征向量;分别确定所述各分词的相邻分词之间的连接概率,并记录连接概率为0的索引位置;根据确定的各连接概率和记录的索引位置,基于循环神经网络,确定所述文本的新的分词结果;将所述文本的新的分词结果作为下一层语义模块的输入;或者,确认当前层为预设层次时,根据所述新的分词结果,以及分类模型,获得所述文本的类别,这样,通过多层语义模块,提高了最终文本划分的准确性,进而提高了文本分类的准确性和效率。
技术领域
本发明涉及计算机技术领域,尤其涉及一种文本分类方法及装置。
背景技术
目前,在进行文本分类等文本理解相关任务时,通常是先对文本进行分词或分字,并训练出相应的模型,基于训练后的模型,对文本进行分类或执行相关任务,但是,现有技术中的方法,主要是按照一定长度的分词或分字方式,确定分词结果,并为模型提供输入特征,这种文本划分方式,得到的分词结果可能不并准确,导致模型的输入特征中会引入噪音特征,降低了模型训练和预测的准确性和效率,增加模型本身的学习难度,进而使得基于训练的模型进行文本分类的准确性较低。
发明内容
本发明实施例提供一种文本分类方法及装置,以解决现有技术中文本划分不准确,降低文本分类的准确性和效率的问题。
本发明实施例提供的具体技术方案如下:
本发明一个实施例提供了一种文本分类方法,包括:
获取当前层语义模块输入的文本的分词结果中各分词的特征向量;
分别确定所述各分词的相邻分词之间的连接概率,并记录连接概率为0的索引位置;
根据确定的各连接概率和记录的索引位置,基于循环神经网络,确定所述文本的新的分词结果;
将所述文本的新的分词结果作为下一层语义模块的输入;或者,
确认当前层为预设层次时,根据所述新的分词结果,以及分类模型,获得所述文本的类别。
本发明另一个实施例提供了一种文本分类装置,包括:
获取模块,用于获取当前层语义模块输入的文本的分词结果中各分词的特征向量;
确定模块,用于分别确定所述各分词的相邻分词之间的连接概率,并记录连接概率为0的索引位置;
获得模块,用于根据确定的各连接概率和记录的索引位置,基于循环神经网络,确定所述文本的新的分词结果;
循环处理模块,用于将所述文本的新的分词结果作为下一层语义模块的输入;或者,
分类模块,用于确认当前层为预设层次时,根据所述新的分词结果,以及分类模型,获得所述文本的类别。
本发明另一个实施例提供了一种电子设备,包括:
至少一个存储器,用于存储程序指令;
至少一个处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行上述任一种文本分类方法。
本发明另一个实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种文本分类方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910149829.0/2.html,转载请声明来源钻瓜专利网。