[发明专利]一种基于Discuz社区的快速统计方法

说明书

本发明涉及实时数据处理技术领域，具体的讲涉及一种基于Discuz社区的快速统计方法，包括以下几个步骤：步骤一、构建数据内存计算机制；步骤二、构建论坛主题哈希表；步骤三、统计处理。本发明将能显著提高历史数据庞大的社区平台的处理性能，将数据库密集型操作转移到内存CPU密集型操作，及时释放MySQL等数据库资源，减少独占锁等锁表情况，提升响应成功率，可用于中小规模、高频次的即时查询、统计等处理量较大的业务领域，为用户使用业务所要求的到达实时性、准确性提供有利保障，并支持个性化统计项目需求的二次扩展开发，本发明方法将为数据统计处理平台开启新的途径，也为社区论坛的业务应用研发提供了新的研究思路。

技术领域

本发明涉及实时数据处理技术领域，具体的讲涉及一种基于Discuz社区的快速统计方法。

背景技术

随着互联网的不断发展，信息更注重实时性，微博和微信的风靡、搜索引擎也相继推出实时搜索的功能，但是对于网站运营而言实时的数据更有意义，看数据看报表的人往往希望数据越实时越好，他们希望掌握网站每个小时甚至每十分钟的变化情况，能够对网站的当前状况了如指掌，能够发现问题并快速响应。

技术的角度来看一下，很明显实时的数据统计需要更多的资源占用，因为网站分析的数据大部分是需要从点击流数据中计算得到的，并没有现成的结果数据可以直线获取显示。从点击流中获得的数据需要进行计算和汇总，无疑这些操作需要更多的成本，特别对于大型网站的大数据量处理而言，同时实时数据增加了实现的复杂度，并可能会在某种程度上增加数据的不准确性。

在Apache,PHP,MySQL的体系架构中，MySQL对于性能的影响最大，也是关键的核心部分。对于Discuz论坛程序也是如此，MySQL的设置是否合理优化，直接影响到论坛的速度和承载量。尽管运维人员和DBA工程师根据业务场景对MySQL进行最大可能的优化，但在实时统计时还是需要在统计方法上进行改进，两者互相配合才能更好合理利用软硬件资源，缩短统计时间。

现有常规的统计方法往往使用SQL语句逐日进行关联查询，单月统计需要查询30次左右，有些回帖是以往历史帖，如果每日保存统计结果副本，并不能精确反映当前实时结果，所以在实时场景下必须要减少查询次数。使用SQL语法中的GROUP BY进行结果分组能合并为一次操作，但结合关联查询时(如pre_forum_post论坛帖子表、pre_forum_thread论坛主题表)，如果数据量偏大如百万级，性能会急剧下降。

现有技术的缺陷和不足：

1.运营成本居高不下，高并发处理能力所带来服务器设备要求成了高成本的代名词；

2.查询优化程度低，过度依赖数据库提供的传统SQL方法，查询过程中产生无效数据多、结构化属性限制；

3.I/O吞吐负载重，CPU内存利用率不合理、业务应用灵活度不高；

针对前面现有技术的所有缺点，逐一正面描述本发明所要解决的技术问题。

发明内容

因此本发明提出一种基于Discuz社区的快速统计方法，用来解决上述背景技术中的问题。

本发明的技术方案是这样实现的：一种基于Discuz社区的快速统计方法，包括以下几个步骤：

步骤一、构建数据内存计算机制

(1)确定当月天数并构建日历：计算统计年份判断是否闰年，月份天数，设定每日起止时间戳；

(2)确定数据格式及时间区间并访问数据源获取数据：统计计算采用内存数组方式存储固定或临时数据，一些中间交换数据也需要一定空间，修改php.ini中的memory_limit设置项，根据服务器设定内存容量；

步骤二、构建论坛主题哈希表