[发明专利]一种分布式数据分析和处理方法及系统

说明书

技术领域

本发明涉及数据分析处理及数据库技术领域，尤其涉及一种分布式数据分析和处理方法及系统。

背景技术

现有的联机分析处理(OLAP)过程常采用集中数据处理的方式，数据库资源存在比较严重的争用现象，数据采集、清理、分析和执行环节已经成为瓶颈，延长了结果数据的生成周期。

图1为现有的联机分析处理(OLAP)类数据处理系统的一个简单示意图。该系统包括数据库主机101和三个Web服务器，分别为Web服务器102、Web服务器103和Web服务器104。

图2所示为现有的联机分析处理(OLAP)类数据处理流程，包括如下步骤：

步骤201：多个Web服务器采集用于联机分析处理的各类原始数据，并将所述原始数据汇总到数据库主机；

步骤202：数据库主机执行统计口径对采集到的原始数据进行加工，生成下一步结算所需的各类基础指标数据；

步骤203：数据库主机根据系统配置的联机分析处理业务规则计算中间结果，同时生成联机分析处理报表的基础数据；

步骤204：数据库主机保存联机分析处理数据的统计结果，在收到查询请求后，将联机分析处理结果数据输出。

其中，步骤202和步骤203涉及数据库操作，要求很高的吞吐量，执行时会占用大量数据库资源。

可以看出，现有技术中存在如下问题：

数据库主机的处理能力成为联机分析数据处理的瓶颈，延长了统计分析结果的生成周期；而与此同时，系统中低负荷计算资源(如WEB服务器)存在较长的资源空闲时段，但却不能分担数据库主机的负载。

发明内容

本发明提供了一种分布式数据分析和处理方法及系统，可以网络上的计算资源分担数据库主机的负载，缩短联机分析处理数据的生成周期。

本发明实施例提出一种分布式数据分析和处理方法，包括如下步骤：

A、负载分担服务器向脚本服务器发送获取可执行对象脚本的请求，脚本服务器判断是否找到可执行对象脚本，若是执行步骤C；否则执行步骤B；

B、脚本服务器从数据库主机读取脚本源代码，编译所述脚本源代码得到可执行对象脚本；

C、负载分担服务器从负载分担服务器获取到可执行对象脚本，负载分担服务器调用脚本对象的入口方法，执行可执行对象脚本所定义的数据采集、清理、统计、分析、处理类功能代码；

D、负载分担服务器将执行所述可执行对象脚本的处理结果通过远程数据库连接回送到数据库主机。

较佳地，步骤B所述编译脚本源代码得到可执行对象脚本进一步包括：将所得到的可执行对象脚本加入脚本服务器的高速缓存中。

较佳地，所述脚本源代码采用与数据库类型无关的采集、统计、分析、处理类脚本源代码语言生成。

较佳地，步骤A所述负载分担服务器从脚本服务器获取可执行对象脚本为：负载分担服务器从脚本服务器的高速缓存中获取可执行对象脚本。

较佳地，该方法进一步包括：脚本服务器对可执行对象脚本的调度、分发、执行和结果汇总状态进行详细的跟踪和记录，并对异常情况进行处理。

较佳地，步骤B所述编译所述脚本源代码得到可执行对象脚本包括：脚本服务器根据配置的具体调度执行策略对脚本源代码进行拆分后编译，生成多条可执行对象子脚本，把具备并行处理条件的可执行对象子脚本分组，生成任务执行组；并将不同的任务执行组调度到不同的负载分担服务器。

较佳地，所述不同的任务执行组调度到不同的负载分担服务器包括：

脚本服务器根据负载分担服务器的空闲时间段配置情况，在计算资源空闲时把任务执行组调度指定的负载分担服务器执行。

本发明实施例还提出一种分布式数据分析和处理系统，该系统包括数据库主机，脚本服务器和多个负载分担服务器；

所述脚本服务器用于接收来自负载分担服务器的获取可执行对象脚本的请求，判断是否找到可执行对象脚本，若未找到，从数据库主机读取脚本源代码，编译所述脚本源代码得到可执行对象脚本；

所述负载分担服务器用于从负载分担服务器获取到可执行对象脚本，调用脚本对象的入口方法，执行可执行对象脚本所定义的数据采集、清理、统计、分析、处理类功能代码；并将将执行所述可执行对象脚本的处理结果通过远程数据库连接回送到数据库主机。

较佳地，所述脚本服务器上的可执行对象脚本保存在脚本服务器的高速缓存中。

较佳地，所述脚本源代码采用与数据库类型无关的采集、统计、分析、处理类脚本源代码语言生成。