[发明专利]PostgreSQL高并发流式大数据多维度准实时统计的方法

说明书

技术领域

本发明属于一种数据统计方法，特别涉及PostgreSQL高并发流式大数据多维度准实时统计的方法。

背景技术

随着互联网的发展，互联网上的应用和用户越来越多，用户产生的数据也爆发性的增长，通过用户产生的数据，可以按照数据的各个维度分析得出企业关注的数据，例如用户的流动性，差异性，传播性，产品和用户群体的关系，应用热度分时，分地域的排行等等，根据用户特性挖掘用户潜在的需求等；程序获取用户产生的数据最简单有效的方法就是流水式数据，单个数据包里面包含了发生时间点的各个维度的所有信息量，这种场景的特性是并发量大，数据量大，因此对时效要求比较高的数据分析来说是一个非常巨大的挑战。

传统的做法有几种：

由于OLTP系统的计算资源和IO资源的局限性，直接在OLTP系统上做多维度的统计是不合理的，第一种解决办法是将这种流式数据从OLTP系统异步的写入数据仓库，而数据仓库并不适合做实时的统计，比较适合做离线(如隔夜)的分析，无法满足时效高的场景需求。同时数据仓库的基础设施以及软件初期投入成本高昂，耗资往往是OLTP系统的百倍以上。

另一种方法是在OLTP系统上使用触发器，在触发器函数中包含需要统计的维度的业务逻辑，实时的更新统计结果，这种方法适合小数据量的场景，因为每条数据都触发，显然带来了比较庞大的计算开销，极其容易产生写入瓶颈，无法满足高并发和大数据场景下的高时效统计需求。

申请号：201010551123。6，公开了一种多层次多维度的数据属性分析方法及装置。其特征是：建立维护公用基础资料数据的公用代码平台，所述公用基础资料包括基础资料和/或公用代码表；建立所述基础资料数据分析的数据关系模型作为基础资料分析平台；根据所述基础资料分析平台的数据关系进行数据属性多层次与多维度分析。其技术方案与现有技术一样，存在同时数据仓库的基础设施以及软件初期投入成本高昂，耗资往往是OLTP系统的百倍以上的问题。

发明内容

本发明解决了上述技术存在同时数据仓库的基础设施以及软件初期投入成本高昂，耗资往往是OLTP系统的百倍以上。或是因为每条数据都触发，显然带来了比较庞大的计算开销，极其容易产生写入瓶颈，无法满足高并发和大数据场景下的高时效统计需求的问题，提供一种克服现有技术缺点，的PostgreSQL高并发流式大数据多维度准实时统计的方法。

本发明解决其技术问题所采用的技术方案是：一种PostgreSQL高并发流式大数据多维度准实时统计的方法，适用于OLTP系统，

步骤一：创建流水表增量状态表、统计函数、函数增量状态表和分析函数，对流水表增量状态表函数增量状态表进行初始化；

步骤二：计算分析函数取数的次数，以整数方式记录，作为统计次数数据，

步骤三：分析函数工作，进入子步骤，

子步骤一：计算机判断取数据的参数值是否正确，如果正确将数据录入流水信息表，如果不正确则结束本方法并报错，

子步骤二：从函数增量状态表中取出统计函数，存储在计算机内存中，遍历统计函数的函数名和各变量，

子步骤三：把未执行事务号存入内存中，

子步骤四：在流水表增量状态表中取出历史截止时间值，

子步骤五：将历史未执行事务号与未执行事务号做集合加运算，

子步骤六：从流水表中根据统计次数数据取出大于等于历史截止时间值的事务号结果值，所述事务号结果值包括历史截止时间值和第一部分流水数据，历史截止时间值根据事务号结果值进行更新，

子步骤七：计算机从流水表中先对未执行事务号和历史未执行事务号进行集合差运算获得差异值，再对未执行事务号和历史未执行事务号进行取交集运算获得交集值，将交集值与差异值做集合与运算得出第二部分流水数据，

子步骤八：将第一部分流水数据和第二部分流水数据合并得出流水数据，将流水数据更新至流水表增量状态表，将历史截止时间值也更新至流水表增量状态表中，遍历统计函数中的变量后，更新函数增量状态表，

子步骤九：流水数据由统计函数调用，执行步骤四，

步骤四：计算机根据统计函数得出的流水统计数据输出含有多维度准实时统计数据的统计维度表；

所述流水表为OLTP系统固有组成。