[发明专利]一种新类挖掘方法及装置

说明书

技术领域

本申请涉及计算机技术领域，尤其涉及一种新类挖掘方法及装置。

背景技术

分类体系的建立，使得数量巨大的数据得以归类，统一管理，从海量数据针对性的选择出有用的数据。

一套完整的分类体系的建立，需要行业专家、技术人员等相关人员投入大量精力才能完成，因此，一套分类体系的沿用时间会较长。但由于技术、行业发展等情况日新月异，行业/话题/重点方向等分类更新速度也随之加快，在该情景下，分类体系的及时更新非常重要。

目前，分类体系的更新，与建立时情况类似，需要行业专家等人员投入大量精力，通过调研大量数据进行总结归纳加人为判断，才能完成分类体系的更新，需要耗费大量的人工成本且效率低下。

发明内容

本申请提供了一种新类挖掘方法及装置，以对数据量大的节点进行自动细分。

第一方面，本申请提供了一种新类挖掘方法，所述方法包括：

在使用分类树对分类数据进行分类时，记录分类到每个目标标签对应的节点下的数据量；

监测各目标标签对应节点下的数据量，当目标标签对应节点下的数据量达到预设量值时，对数据量达到预设量值的目标标签对应节点下的数据进行扫描提取，并进行聚类计算，生成新的子类标签。

其中，所述目标标签为状态为第一待发现新类状态的分类标签，为所有的分类标签,或者为确定出的部分分类标签,若为确定出的部分分类标签,所述方法还可以包括：

根据用户设置,确定所述目标标签,将所述目标标签的状态设置为第一待发现新类状态；

或者，在使用分类树对数据进行分类过程中，分类标签对应节点下数据增量或增速达到预设条件时，将达到预设条件的分类标签确定为所述目标标签。

所述方法还可以包括：

根据用户设置，将用户指定的周期性发现新类的节点设置为第二待发现新类状态；

按照预定周期，周期性扫描抽取设置为第二待发现新类状态的节点下的数据，进行聚类计算，生成新的子类标签。

所述的方法，在生成新的子类标签之后，还可以包括：

在对应节点下构建与新的子类标签对应的子节点，同时将分类到新的子类标签的数据存入构建的子节点下；

利用构建了新的子类标签对应的子节点后的分类树，继续对未分类数据进行分类。

其中，各节点下的数据为文本数据，对节点下的数据进行聚类计算生成新的子类标签，具体为：

对待聚类的节点下的文本数据进行预处理，所述预处理包括对文本进行分词，得到切分的文本词条；

根据预处理后的文本，构建文本特征，不同文本特征赋予不同权重；

根据所述文本特征使用预设的聚类算法进行聚类，生成新的子类标签。

其中，使用词性为动词和名词的文本词条构建文本特征。

第二方面，本申请还提供了一种新类挖掘装置，所述装置包括：

记录单元，用于在使用分类树对分类数据进行分类时，记录分类到每个目标标签对应的节点下的数据量；

聚类单元，用于监测各目标标签对应节点下的数据量，当目标标签对应节点下的数据量达到预设量值时，对数据量达到预设量值的目标标签对应节点下的数据进行扫描提取，并进行聚类计算，生成新的子类标签。

其中，所述目标标签为状态为第一待发现新类状态的分类标签，为所有的分类标签，或者为确定出的部分分类标签，若为确定出的部分分类标签，所述装置还可以包括：

第一状态设置单元，用于根据用户设置,确定所述目标标签，将所述目标标签的状态设置为第一待发现新类状态；

或者，用于在使用分类树对数据进行分类过程中，分类标签对应节点下数据增量或增速达到预设条件时，将达到预设条件的分类标签确定为所述目标标签。

所述的装置，还可以包括：

第二状态设置单元，用于根据用户设置，将用户指定的周期性发现新类的节点设置为第二待发现新类状态；

所述聚类单元，还用于按照预定周期，周期性扫描抽取设置为第二待发现新类状态的节点下的数据，进行聚类计算，生成新的子类标签。

所述的装置，还可以包括：

构建单元，用于在生成新的子类标签之后，在对应节点下构建与新的子类标签对应的子节点，同时将分类到新的子类标签的数据存入构建的子节点下；

分类单元，用于利用构建了新的子类标签对应的子节点后的分类树，继续对未分类数据进行分类。

其中，各节点下的数据为文本数据，所述聚类单元具体用于：