[发明专利]一种分布式数据分析和处理方法及系统

权利要求书

1.一种分布式数据分析和处理方法，其特征在于，包括如下步骤：

A、负载分担服务器向脚本服务器发送获取可执行对象脚本的请求，脚本服务器判断是否找到可执行对象脚本，若是执行步骤C；否则执行步骤B；

B、脚本服务器从数据库主机读取脚本源代码，编译所述脚本源代码得到可执行对象脚本；

C、负载分担服务器从负载分担服务器获取到可执行对象脚本，负载分担服务器调用脚本对象的入口方法，执行可执行对象脚本所定义的数据采集、清理、统计、分析、处理类功能代码；

D、负载分担服务器将执行所述可执行对象脚本的处理结果通过远程数据库连接回送到数据库主机。

2.根据权利要求1所述的方法，其特征在于，步骤B所述编译脚本源代码得到可执行对象脚本进一步包括：将所得到的可执行对象脚本加入脚本服务器的高速缓存中。

3.根据权利要求1所述的方法，其特征在于，所述脚本源代码采用与数据库类型无关的采集、统计、分析、处理类脚本源代码语言生成。

4.根据权利要求2所述的方法，其特征在于，步骤A所述负载分担服务器从脚本服务器获取可执行对象脚本为：负载分担服务器从脚本服务器的高速缓存中获取可执行对象脚本。

5.根据权利要求1所述的方法，其特征在于，该方法进一步包括：脚本服务器对可执行对象脚本的调度、分发、执行和结果汇总状态进行详细的跟踪和记录，并对异常情况进行处理。

6.根据权利要求1所述的方法，其特征在于，步骤B所述编译所述脚本源代码得到可执行对象脚本包括：脚本服务器根据配置的具体调度执行策略对脚本源代码进行拆分后编译，生成多条可执行对象子脚本，把具备并行处理条件的可执行对象子脚本分组，生成任务执行组；并将不同的任务执行组调度到不同的负载分担服务器。

7.根据权利要求6所述的方法，其特征在于，所述不同的任务执行组调度到不同的负载分担服务器包括：

脚本服务器根据负载分担服务器的空闲时间段配置情况，在计算资源空闲时把任务执行组调度指定的负载分担服务器执行。

8.一种分布式数据分析和处理系统，其特征在于，该系统包括数据库主机，脚本服务器和多个负载分担服务器；

所述脚本服务器用于接收来自负载分担服务器的获取可执行对象脚本的请求，判断是否找到可执行对象脚本，若未找到，从数据库主机读取脚本源代码，编译所述脚本源代码得到可执行对象脚本；

所述负载分担服务器用于从负载分担服务器获取到可执行对象脚本，调用脚本对象的入口方法，执行可执行对象脚本所定义的数据采集、清理、统计、分析、处理类功能代码；并将将执行所述可执行对象脚本的处理结果通过远程数据库连接回送到数据库主机。

9.根据权利要求8所述的系统，其特征在于，所述脚本服务器上的可执行对象脚本保存在脚本服务器的高速缓存中。

10.根据权利要求8所述的系统，其特征在于，所述脚本源代码采用与数据库类型无关的采集、统计、分析、处理类脚本源代码语言生成。

11.根据权利要求8所述的系统，其特征在于，所述脚本服务器进一步用于：对可执行对象脚本的调度、分发、执行和结果汇总状态进行详细的跟踪和记录，并对异常情况进行处理。

12.根据权利要求8所述的系统，其特征在于，所述脚本服务器进一步包括：

拆分编译模块，用于根据配置的具体调度执行策略对脚本源代码进行拆分后编译，生成多条可执行对象子脚本；

分组模块，用于将具备并行处理条件的可执行对象子脚本分组，生成任务执行组；

调度模块，用于将不同的任务执行组调度到不同的负载分担服务器。

13.根据权利要求12所述的系统，其特征在于，所述调度模块进一步用于根据负载分担服务器的空闲时间段配置情况，在计算资源空闲时把任务执行组调度指定的负载分担服务器执行。