[发明专利]一种论坛数据管理分类系统及方法

摘要

本发明提供一种论坛数据管理分类系统及方法，涉及大数据处理技术领域。该系统及方法通过数据采集模块从多个数据源实时的采集原始论坛数据；并将原始论坛数据经由消息队列单元进行缓存后传入数据预处理模块进行数据预处理；将从数据预处理模块中输出的Json格式的论坛数据进行构建索引后存储；在算法引擎模块对论坛数据进行智能分类，使每类论坛数据与一类管理员相对应；通过身份验证模块的论坛管理员进入系统对权限范围内的论坛数据进行分析。本发明系统及方法，通过对论坛数据进行分类管理，可以快速查询到待搜索的相关内容，从而提升在论坛中查询数据的效率。

主权项

1.一种论坛数据管理分类系统，其特征在于：包括采集层、存储处理层、可视化层；/n所述采集层包括数据采集模块、消息队列单元、数据预处理模块；所述数据采集模块用于从多个数据源实时的采集原始论坛数据；所述消息队列单元用于对数据采集模块采集的原始论坛数据进行缓存，当数据预处理模块的处理速度小于数据采集模块的处理速度时，消息队列起到缓冲作用，当数据预处理模块出现故障并恢复时，将从消息队列中重新读取原始论坛数据；所述数据预处理模块用于对消息队列单元中原始论坛数据进行数据的过滤、抽取、去重及类型转换，输出Json格式的论坛数据；/n所述存储处理层包括数据存储模块、数据分析计算模块；所述数据存储模块包括分布式储存模块和索引构建模块；索引构建模块用于将采集层输出的论坛数据进行索引构建；所述分布式储存模块用于对采集层输出的论坛数据进行持久化储存；/n所述数据分析计算模块包括查询分析模块和算法引擎模块；查询分析模块包括全文检索单元、聚合查询单元、图表工具单元和警告服务单元；全文检索单元用于精确查询、模糊查询和正则表达式查询，是通过论坛管理员输入的关键字对论坛数据进行快速的查询定位；聚合查询和图表工具单元用于对论坛数据进行统计汇总和报表展示；警告服务单元用于实现将带有敏感或重点词汇的论坛数据以邮件或短信的形式通知给论坛相关管理人员；算法引擎模块用于对论坛数据进行智能分类；/n所述可视化层包括数据可视化模块、身份验证模块；数据可视化模块用于检索结果以及聚合查询结果的页面展示，并将数据分析计算模块最终的分析结果通过可视化图表显示；身份验证模块用于区分不同论坛管理员的处理权限；/n所述数据采集模块将在数据源中采集的原始论坛数据传输至消息队列单元，所述数据预处理模块接收由消息队列单元输出的原始论坛数据，将原始论坛数据进行类型转换后的论坛数据传输至索引构建模块，所述索引构建模块将论坛数据输出至分布式储存模块，所述分布式储存模块将论坛论坛数据输出至算法引擎模块，算法引擎模块将论坛数据分类后输出至分布式储存模块，所述分布式储存模块会对论坛数据进行更新；论坛管理员通过身份验证模块将请求发送至全文检索单元、聚合查询单元、图表工具单元、警告服务单元中的任一单元，接收请求的单元将请求中需要的论坛数据从数据存储模块中提取出来进行分析，并发送至数据可视化模块。/n