[发明专利]一种论坛数据管理分类系统及方法

说明书

本发明提供一种论坛数据管理分类系统及方法，涉及大数据处理技术领域。该系统及方法通过数据采集模块从多个数据源实时的采集原始论坛数据；并将原始论坛数据经由消息队列单元进行缓存后传入数据预处理模块进行数据预处理；将从数据预处理模块中输出的Json格式的论坛数据进行构建索引后存储；在算法引擎模块对论坛数据进行智能分类，使每类论坛数据与一类管理员相对应；通过身份验证模块的论坛管理员进入系统对权限范围内的论坛数据进行分析。本发明系统及方法，通过对论坛数据进行分类管理，可以快速查询到待搜索的相关内容，从而提升在论坛中查询数据的效率。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种论坛数据管理分类系统及方法。

背景技术

论坛(Forums)是在线商业服务中的团体组织。论坛可能运作着一个图书馆、一个聊天室，让人们进行实时的信息交流，甚至它还有一个分类的广告目录。目前论坛已经是互联网上非常普及的东西，有些人会在论坛发表小说或者连续更新某些内容，也有人会在论坛发起某种话题，然后有很多其他用户会对该话题进行评论或发表自己的意见。

随着互联网的高速发展，论坛产生的数据量在以指数模式增长，传统的单机系统和关系型数据库已经无法满足用户对海量论坛信息的处理需求以及对于海量论坛数据的存储分析问题。

如果对这些海量论坛数据根据其话题或内容的不同归属于不同的类型，对这些数据进行分类管理，能够方便海量论坛数据的存储和后期的查询处理，提高查询效率。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种论坛数据管理分类系统及方法，实现对论坛数据的分类管理。

为解决上述技术问题，本发明所采取的技术方案是：一方面，本发明提供一种论坛数据管理分类系统，包括采集层、存储处理层、可视化层；

所述采集层包括数据采集模块、消息队列单元、数据预处理模块；所述数据采集模块用于从多个数据源实时的采集原始论坛数据；所述消息队列单元用于对数据采集模块采集的原始论坛数据进行缓存，当数据预处理模块的处理速度小于数据采集模块的处理速度时，消息队列起到缓冲作用，当数据预处理模块出现故障并恢复时，将从消息队列中重新读取原始论坛数据；所述数据预处理模块用于对消息队列单元中原始论坛数据进行数据的过滤、抽取、去重及类型转换，输出Json格式的论坛数据；

所述存储处理层包括数据存储模块、数据分析计算模块；所述数据存储模块包括分布式储存模块和索引构建模块；索引构建模块用于将采集层输出的论坛数据进行索引构建；所述分布式储存模块用于对采集层输出的论坛数据进行持久化储存；

所述数据分析计算模块包括查询分析模块和算法引擎模块；查询分析模块包括全文检索单元、聚合查询单元、图表工具单元和警告服务单元；全文检索单元用于精确查询、模糊查询和正则表达式查询，是通过论坛管理员输入的关键字对论坛数据进行快速的查询定位；聚合查询和图表工具单元用于对论坛数据进行统计汇总和报表展示；警告服务单元用于实现将带有敏感或重点词汇的论坛数据以邮件或短信的形式通知给论坛相关管理人员；算法引擎模块用于对论坛数据进行智能分类；

所述可视化层包括数据可视化模块、身份验证模块；数据可视化模块用于检索结果以及聚合查询结果的页面展示，并将数据分析计算模块最终的分析结果通过可视化图表显示；身份验证模块用于区分不同论坛管理员的处理权限；