[发明专利]一种数据标签生成方法和装置

摘要

本发明公开了一种数据标签生成方法和装置，涉及互联网数据领域。本发明方法包括：获取原始文本数据；利用顶层主题数据库分析得到多个顶层主题文本数据；预处理顶层主题文本数据得到顶层主题预处理文本数据；提取顶层主题预处理文本数据中所有文档Tf‑idf特征值得到矩阵数据；对矩阵数据进行主题聚类得到多个不同主题聚类；从每个主题聚类中关键词并由高至低排序；根据实际应用对关键词排序表进行校正，留取与对应的主题聚类内容相关度密切且正确表达对应主题聚类内容的关键词；根据新关键词排序表得到各主题聚类的标签。本发明方法可快速高效对海量数据进行主题聚类，所得标签体系结构完整、内容丰富以、更贴近实际应用以便于用户使用。

主权项

一种数据标签生成方法，其特征在于，所述方法包括如下步骤：获取原始文本数据；利用顶层主题数据库对所述原始文本数据进行顶层分类，得到多个顶层主题文本数据；对每个所述顶层主题文本数据进行去冗余预处理，得到多个顶层主题预处理文本数据；获取每个所述顶层主题预处理文本数据的文档总数量和词语总数量,提取同一个所述顶层主题预处理文本数据中每个词语在每一个文档中的Tf‑idf特征值，得到每个所述顶层主题预处理文本数据的矩阵数据，其中，矩阵数据的行数为所述文档总数量，一行为一个文档，矩阵数据的列数为所述词语总数量，一列为一个词在文档中的Tf‑idf特征值；对每个所述矩阵数据进行主题聚类，得到多个不同主题聚类；从每个所述矩阵数据的每一个主题聚类中分别挑取20‑50个与对应的主题聚类密切相关的关键词；根据关键词与其对应的主题聚类相关度，由高至低进行排序，对应得到多个关键词排序表；根据实际应用对所述多个关键词排序表进行校正，留取与对应的主题聚类内容相关度密切且正确表达对应主题聚类内容的关键词，删除与对应主题聚类内容相关度密切但错误表达主题聚类内容的关键词，形成多个新关键词排序表；根据所述新关键词排序表与其对应主题聚类的相关度，对每一个主题聚类定义标签。