[发明专利]一种文本自动分类方法在审
申请号: | 201710822309.2 | 申请日: | 2017-09-13 |
公开(公告)号: | CN107609113A | 公开(公告)日: | 2018-01-19 |
发明(设计)人: | 张媛钰;阿孜古丽;谢永红;张德政;栗辉;李春苗 | 申请(专利权)人: | 北京科技大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F17/27;G06N3/08 |
代理公司: | 北京市广友专利事务所有限责任公司11237 | 代理人: | 张仲波 |
地址: | 100083*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 自动 分类 方法 | ||
1.一种文本自动分类方法,其特征在于,包括:
获取待分类的文本;
采用降噪自动编码器和受限玻尔兹曼机,构建降噪深度神经网络模型;
利用构建的降噪深度神经网络模型,对获取的待分类的文本进行特征提取;
根据特征提取结果,利用Softmax回归算法进行自动分类。
2.根据权利要求1所述的文本自动分类方法,其特征在于,在利用构建的降噪深度神经网络模型,对获取的待分类的文本进行特征提取之前,所述方法还包括:
剔除所述获取的待分类的文本中的噪声数据,其中,所述噪声数据包括:无用的信息和/或正文中的标点符号及特殊字符。
3.根据权利要求2所述的文本自动分类方法,其特征在于,在剔除所述获取的待分类的文本中的噪声数据之后,所述方法还包括:
对去除噪声数据的文本数据进行分词处理。
4.根据权利要求3所述的文本自动分类方法,其特征在于,在对去除噪声数据的文本数据进行分词处理之后,所述方法还包括:
根据文本数据的分词结果,对文本数据去停用词,其中,去掉的停用词为没有区分和预测能力的特征词。
5.根据权利要求4所述的文本自动分类方法,其特征在于,在对文本数据去停用词之后,所述方法还包括:
将去停用词后得到的特征词映射成为词表形式;
计算特征词表中每个特征词的权值并记录在特征词表中,其中,所述特征词表包括文本、文本中的特征词与文本中每个特征词的权值之间的对应关系;
根据得到的特征词表,将每个文本依次表示为特征向量的形式。
6.根据权利要求5所述的文本自动分类方法,其特征在于,所述根据得到的特征词表,将每个文本依次表示为特征向量的形式包括:
按照预设的规则,判断第一文本是否是短文本;
若是,则根据短文本特征扩充算法,对所述第一文本进行特征扩充,并基于特征扩充结果,将所述第一文本表示为特征向量的形式;
若不是,则根据得到的特征词表,直接将所述第一文本表示为特征向量的形式。
7.根据权利要求5所述的文本自动分类方法,其特征在于,在根据得到的特征词表,将每个文本依次表示为特征向量的形式之后,所述方法还包括:
对表示为向量特征形式的每个数值进行归一化处理。
8.根据权利要求1所述的文本自动分类方法,其特征在于,所述降噪深度神经网络模型包括:
位于所述降噪深度神经网络模型最底层的第一降噪自动编码器、位于所述第一降噪自动编码器上层的第二降噪自动编码器、位于所述第二降噪自动编码器上层的第一受限玻尔兹曼机、位于所述第一受限玻尔兹曼机上层的第二受限玻尔兹曼机。
9.根据权利要求8所述的文本自动分类方法,其特征在于,所述第一降噪自动编码器和第二降噪自动编码器组成降噪模块,所述降噪模块用于对输入所述降噪深度神经网络模型的特征向量进行降噪处理;其中,所述第二降噪自动编码器所在层是所述降噪模块的输出层同时也是所述第一受限玻尔兹曼机的输入层;
所述第二受限玻尔兹曼机是所述降噪深度神经网络模型的输出层,输出层的输出结果为所述待分类的文本的特征表示。
10.根据权利要求1所述的文本自动分类方法,其特征在于,所述降噪深度神经网络模型的输入是一个固定维度的特征向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京科技大学,未经北京科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710822309.2/1.html,转载请声明来源钻瓜专利网。