[发明专利]一种数据标签生成方法和装置

权利要求书

1.一种数据标签生成方法，其特征在于，所述方法包括如下步骤：

获取原始文本数据；

利用顶层主题数据库对所述原始文本数据进行顶层分类，得到多个顶层主题文本数据；所述顶层主题数据库是将获取的数据根据消费人群的空间坐标、社会属性、行为特征、阶段特征、心理特征以及对于环境的反应分为基本属性主题、生活场景主题、影响因子主题以及性格心理主题的一种数据库；所述顶层主题数据库包括基本属性主题的数据、生活场景主题的数据、影响因子主题的数据以及性格心理主题的数据；

对每个所述顶层主题文本数据进行去冗余预处理，得到多个顶层主题预处理文本数据；

获取每个所述顶层主题预处理文本数据的文档总数量和词语总数量，提取同一个所述顶层主题预处理文本数据中每个词语在每一个文档中的Tf-idf特征值，得到每个所述顶层主题预处理文本数据的矩阵数据，其中，矩阵数据的行数为所述文档总数量，一行为一个文档，矩阵数据的列数为所述词语总数量，一列为一个词在文档中的Tf-idf特征值；

对每个所述矩阵数据进行主题聚类，得到多个不同主题聚类；

从每个所述矩阵数据的每一个主题聚类中分别挑取20-50个与对应的主题聚类密切相关的关键词；

根据关键词与其对应的主题聚类相关度，由高至低进行排序，对应得到多个关键词排序表；

根据实际应用对所述多个关键词排序表进行校正，留取与对应的主题聚类内容相关度密切且正确表达对应主题聚类内容的关键词，删除与对应主题聚类内容相关度密切但错误表达主题聚类内容的关键词，形成多个新关键词排序表；

根据所述新关键词排序表与其对应主题聚类的相关度，对每一个主题聚类定义标签。

2.根据权利要求1所述的一种数据标签生成方法，其特征在于，所述定义标签的步骤之后还包括以下步骤：

将主题聚类得到的多个标签形成原始标签库；

将新产生的标签与所述原始标签库中的标签进行校验，去除主题名称重复的标签；

将校验通过的新标签加入所述原始标签库中，形成现有标签库；

所述现有标签库根据每一次新标签的加入自动更新和增长。

3.根据权利要求1所述的一种数据标签生成方法，其特征在于，所述原始文本数据是从网站爬取或客户提供；

所述去冗余预处理是对所述顶层分类文本数据进行统一编码、繁体转简体、半角转全角、去除标点符号、去除链接、去除html以及中文分词；

从每一个主题聚类中分别挑取30个与对应主题聚类密切相关的关键词；

所述Tf-idf特征值为词频和逆向文档频率。

4.根据权利要求1所述的一种数据标签生成方法，其特征在于，所述对每个所述矩阵数据进行主题聚类是采用非负矩阵分解方法，得到的主题聚类结构为平级结构；

或者，所述对每个所述矩阵数据进行主题聚类是采用多层次主题聚类方法，得到的主题聚类结构为树形结构。