[发明专利]一种数据的聚类方法和聚类装置在审
申请号: | 201611032182.6 | 申请日: | 2016-11-22 |
公开(公告)号: | CN106776751A | 公开(公告)日: | 2017-05-31 |
发明(设计)人: | 谢瑜;张昊;朱频频 | 申请(专利权)人: | 上海智臻智能网络科技股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京布瑞知识产权代理有限公司11505 | 代理人: | 孟潭 |
地址: | 201803 上海市嘉*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 方法 装置 | ||
1.一种数据的聚类方法,其特征在于,包括:
获取待处理数据,所述待处理数据包括测试数据和非测试数据;
对测试数据进行第一分类处理,得到第一分类结果;
采用初始预设值对测试数据进行第二分类处理,得到第二分类结果,所述第二分类处理包括:分别获取第M句数据的句向量与已聚类的L个信息组的句向量平均值之间的最大相似度值,当所述最大相似度值大于所述初始预设值时,将第M句数据聚类到所述最大相似度值对应的信息组中;当所述最大相似度值小于所述初始预设值时,将第M句数据作为第L+1个信息组,所述L小于或等于M-1;
比较所述第二分类结果和所述第一分类结果,当以第一分类结果为标准得到第二分类结果的准确率大于或等于阈值时,将所述初始预设值作为目标预设值;当以第一分类结果为标准得到第二分类结果的准确率小于阈值时,不断调整所述初始预设值,直至将所述初始预设值调整为目标预设值时得到新的第二分类结果的准确率大于或等于阈值;
采用目标预设值对非测试数据进行第二分类处理。
2.如权利要求1所述的数据的聚类方法,其特征在于,所述第一分类处理为人工分类。
3.如权利要求1所述的数据的聚类方法,其特征在于,对所述测试数据进行所述第一分类处理得到的所述第一分类结果中的分类数目与对所述测试数据进行所述第二分类处理得到的所述第二分类结果中的分类数目相同。
4.如权利要求1所述的数据的聚类方法,其特征在于,对所述测试数据进行所述第一分类处理得到的所述第一分类结果中各分类的中心点与对所述测试数据进行所述第二分类处理得到的所述第二分类结果中各分类的中心点相同。
5.如权利要求1所述的数据的聚类方法,其特征在于,所述测试数据进行所述第二分类处理得到的所述第二分类结果中各分类的中心点动态变化。
6.如权利要求1所述的数据的聚类方法,其特征在于,第M句数据的句向量通过以下方式获得:
对第M句数据进行预处理和分词处理,得到第M句数据的特征词;
获取所述特征词的词向量,并根据所述词向量获取第M句数据的句向量。
7.如权利要求6所述的数据的聚类方法,其特征在于,得到所述特征词之后,所述方法进一步包括:采用以下任一种或两种方式对所述特征词进行过滤处理:
根据词性对所述特征词进行过滤,保留名词、动词以及形容词;
根据频次对所述特征词进行过滤,保留频次大于频次阈值的特征词。
8.如权利要求6所述的问句信息处理方法,其特征在于,所述第二分类处理具体包括:
对T个句向量QT进行聚类,其中T≥M,M≥2;
初始K值、中心点PK-1、以及聚类问题集{K,[PK-1]},其中,K表示聚类的类别数,K的初始值为1,中心点PK-1的初始值为P0,P0=Q1,Q1表示第1个句向量,聚类问题集的初始值为{1,[Q1]};
依次对剩下的QT进行聚类,计算当前句向量与每个聚类问题集的中心点的相似度,如果当前句向量与某个聚类问题集的中心点的相似度大于或等于预设值,则将当前句向量聚类到相应的聚类问题集中,保持K值不变,将相应的中心点更新为聚类问题集中所有句向量的向量平均值,相应的聚类问题集为{K,[句向量的向量平均值]};如果当前句向量与所有聚类问题集中的中心点的相似度均小于预设值,则令K=K+1,增加新的中心点,所述新的中心点的值为当前句向量,并增加新的聚类问题集{K,[当前句向量]}。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海智臻智能网络科技股份有限公司,未经上海智臻智能网络科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611032182.6/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置