[发明专利]一种数据标签生成方法和装置

说明书

本发明公开了一种数据标签生成方法和装置，涉及互联网数据领域。本发明方法包括：获取原始文本数据；利用顶层主题数据库分析得到多个顶层主题文本数据；预处理顶层主题文本数据得到顶层主题预处理文本数据；提取顶层主题预处理文本数据中所有文档Tf‑idf特征值得到矩阵数据；对矩阵数据进行主题聚类得到多个不同主题聚类；从每个主题聚类中关键词并由高至低排序；根据实际应用对关键词排序表进行校正，留取与对应的主题聚类内容相关度密切且正确表达对应主题聚类内容的关键词；根据新关键词排序表得到各主题聚类的标签。本发明方法可快速高效对海量数据进行主题聚类，所得标签体系结构完整、内容丰富以、更贴近实际应用以便于用户使用。

技术领域

本发明涉及互联网数据技术领域，尤其涉及一种数据标签生成方法和装置。

背景技术

标签是一种比分类更准确、更具体，可以概括一个信息主体内容的关键词。标签体系是互联网时代网站，App，数字营销，广告，推荐系统等的重要组成部分。是实现用户画像，精准定向的基础。大部分系统的标签来自于人工生成，用户自定义，或是机器关键词提取后的映射处理。

在大数据背景下，人们所接触到的文字信息越来越多，文本数据量呈指数级增长。这时以人工的方式去分析归纳文本的主题已不能再满足需要。人工文本处理的方式不仅耗时昂贵，而且在处理时会参杂一些主观偏见，从而降低了主题聚类的质量。

采用人工生成的可以成为一个系统体系，但全部依赖人工定义的方法无法大规模生产，这样的标签体系可扩展性不强，也不会很丰富；采用用户自定义的标签过于零散和自由，无法结构化，对于标签的使用是一个挑战；采用简单的分词算法关键词提取能靠机器产生大量标签，但并不具备代表性和不成体系。

发明内容

有鉴于此，本发明实施例提供了一种数据标签生成方法和装置，主要目的是提供一种体系完整、分类准确、更贴近实际应用的标签的生成方法。

为达到上述目的，本发明主要提供了如下技术方案：

一方面，本发明实施例提供了一种数据标签生成方法，该方法包括如下步骤：

获取原始文本数据；

利用顶层主题数据库对所述原始文本数据进行顶层分类，得到多个顶层主题文本数据；

对每个所述顶层主题文本数据进行去冗余预处理，得到多个顶层主题预处理文本数据；

获取每个所述顶层主题预处理文本数据的文档总数量和词语总数量,提取同一个所述顶层主题预处理文本数据中每个词语在每一个文档中的Tf-idf特征值，得到每个所述顶层主题预处理文本数据的矩阵数据，其中，矩阵数据的行数为所述文档总数量，一行为一个文档，矩阵数据的列数为所述词语总数量，一列为一个词在文档中的Tf-idf特征值；

对每个所述矩阵数据进行主题聚类，得到多个不同主题聚类；

从每个所述矩阵数据的每一个主题聚类中分别挑取20-50个与对应的主题聚类密切相关的关键词；

根据关键词与其对应的主题聚类相关度，由高至低进行排序，对应得到多个关键词排序表；

根据实际应用对所述多个关键词排序表进行校正，留取与对应的主题聚类内容相关度密切且正确表达对应主题聚类内容的关键词，删除与对应主题聚类内容相关度密切但错误表达主题聚类内容的关键词，形成多个新关键词排序表；

根据所述新关键词排序表与其对应主题聚类的相关度，对每一个主题聚类定义标签。

作为优选，所述定义标签的步骤之后还包括以下步骤：

将主题聚类得到的多个标签形成原始标签库；

将新产生的标签与所述原始标签库中的标签进行校验，去除主题名称重复的标签；