[发明专利]一种信息处理方法和装置在审
申请号: | 201911148659.0 | 申请日: | 2019-11-21 |
公开(公告)号: | CN112825078A | 公开(公告)日: | 2021-05-21 |
发明(设计)人: | 李银锋;黄明星;周彬;刘婷婷;黄建杰;赖晨东 | 申请(专利权)人: | 北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/289;G06Q30/02 |
代理公司: | 中原信达知识产权代理有限责任公司 11219 | 代理人: | 张一军;李阳 |
地址: | 100176 北京市北京经济技术*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 信息处理 方法 装置 | ||
1.一种信息处理方法,其特征在于,包括:
获取待处理文本信息,进行分词处理,以提取M个关键词;
输入M个关键词至已训练好的词向量模型中,得到M个词向量,以对M个词向量进行聚类生成N个近义词集合;
基于N个近义词集合,将所述待处理文本信息转换成N维向量,对所述N维向量进行聚类,以获得对待处理文本信息的分类结果。
2.根据权利要求1所述的方法,其特征在于,获取待处理文本信息,以进行分词处理,包括:
获取待处理文本信息,删除所述文本信息中存在的属于预设字符类型的内容,完成对待处理文本的预处理;
确定分词工具,对预处理后的文本信息进行分词处理。
3.根据权利要求1所述的方法,其特征在于,提取M个关键词,包括:
对每个分词通过tf-idf算法计算重要性数值,根据所述重要性数值从大到小对分词进行排序;
提取前M个分词,作为关键词。
4.根据权利要求1所述的方法,其特征在于,包括:
所述的词向量模型为word2vec模型;其中,输出词特征向量的维度为100,当前词和预测词之间的最大距离为4。
5.根据权利要求1所述的方法,其特征在于,对M个词向量进行聚类生成N个近义词集合,包括:
通过K均值聚类算法,对M个词向量聚合成N类,进而生成N个近义词集合。
6.根据权利要求1所述的方法,其特征在于,基于N个近义词集合,将所述待处理文本信息转换成N维向量,包括:
判断所述待处理文本信息中是否具有近义词集合Ni中至少一个关键词,若是则N维向量的第i个维度为1,若否则N维向量的第i个维度为0;重复前述过程,直至将所述待处理文本信息编码成N维向量。
7.根据权利要求1-6任一所述的方法,其特征在于,还包括:
基于密度的聚类算法,对所述N维向量进行聚类,以获得对待处理文本信息的分类结果;
通过计算余弦相似度,进而评估所述分类结果。
8.一种信息处理装置,其特征在于,
获取模块,用于获取待处理文本信息,进行分词处理,以提取M个关键词;
生成模块,用于输入M个关键词至已训练好的词向量模型中,得到M个词向量,以对M个词向量进行聚类生成N个近义词集合;
处理模块,用于基于N个近义词集合,将所述待处理文本信息转换成N维向量,对所述N维向量进行聚类,以获得对待处理文本信息的分类结果。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司,未经北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911148659.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种新型高效的玫瑰花采摘装置
- 下一篇:一种预测用户性别画像的方法和装置