[发明专利]一种基于文本主题模型的可视化分析系统

摘要

本发明公开了一种基于文本主题模型的可视化分析系统，包括从互联网采集网页文本数据并进行清洗的互联网文本数据采集模块、网页文本数据进行中文分词和词频统计的语料库模块、生成文档-主题向量集和主题-单词向量集主题分析模块、对文档-主题向量集进行聚类分析的主题聚类模块、数据显示及可变参数调整的数据可视化模块。本发明实现了分析效果的优化、分析过程中可变参数的动态调整，提高了分析效率。

主权项

一种基于文本主题模型的可视化分析系统，其特征在于，该系统包括互联网文本数据采集模块、语料库模块、主题分析模块、主题聚类模块、数据可视化模块；互联网文本数据采集模块用于从互联网采集网页文本数据，并对所采集到的各篇文本数据进行清洗；语料库模块用于存储互联网文本数据采集模块清洗后的文本数据，并对存储的网页文本数据进行中文分词和词频统计，生成包含单词与所存储的网页文本数据之间的映射关系和词频统计数据的词频数据；主题分析模块用于依据语料库模块生成的词频数据建立主题模型，利用Gibbs抽样方法对所建立主题模型进行计算，存储并输出计算得到的文档‑主题向量集和主题‑单词向量集；主题聚类模块对主题分析模块输出的文档‑主题向量集进行聚类分析，存储并输出聚类数据；数据可视化模块将主题分析模块和主题聚类模块输出的数据以图形的显示出来；数据可视化模块还用于显示和调整语料库模块、主题分析模块、主题聚类模块中可变参数。