[发明专利]一种分布式数据处理系统中的内存预估与配置优化的方法

权利要求书

1.一种分布式数据处理系统中的内存预估与配置优化的方法，其特征在于，所述方法至少包括：

将经过针对应用jar包中程序代码的条件分支和/或循环体分析及处理的程序数据流与数据特征库进行匹配，并且基于匹配成功的结果预估至少一个阶段的内存上限，

基于所述内存上限对应用程序进行配置参数优化，

基于优化后应用程序的运行过程采集程序数据的静态特征和/或动态特征并进行持久化记录。

2.如权利要求1所述的分布式数据处理系统中的内存预估与配置优化的方法，其特征在于，所述方法还包括：

基于所述程序数据的静态特征和/或动态特征的反馈结果再次预估至少一个阶段的内存上限并对应用程序进行配置参数优化。

3.如权利要求1或2所述的分布式数据处理系统中的内存预估与配置优化的方法，其特征在于，所述程序代码的条件分支和/或循环体进行分析及处理的方法包括：

在判断程序代码是否存在条件分支的基础上进行循环体分析，

基于所述循环体的内存稳定性确定是否预估至少一个阶段的内存上限。

4.如权利要求3所述的分布式数据处理系统中的内存预估与配置优化的方法，其特征在于，所述程序数据流与所述数据特征库的匹配方法至少包括：

判断所述程序数据流与所述数据特征库的动态特征和/或静态特征是否完全匹配，

在完全匹配失败的情况下放弃内存预估并将所述应用jar包提交运行，

在完全匹配成功的情况下，预估至少一个阶段的内存上限，并且进行配置优化，将优化后的应用jar包提交运行。

5.如权利要求3所述的分布式数据处理系统中的内存预估与配置优化的方法，其特征在于，所述程序数据的静态特征和/或动态特征的采集方式包括：

以改写运行中的应用job的Task的流程的方式采集所述程序数据的静态特征和/或动态特征，

统计汇总所述数据的静态特征和/或动态特征并持久化至所述数据特征库中以更新所述数据特征库。

6.如权利要求1所述的分布式数据处理系统中的内存预估与配置优化的方法，其特征在于，所述方法还包括：

基于所述循环体的代码分析和数据特征库内的数据特征判断所述循环体的内存变化，

在内存稳定不变或下降的情况下，将去除循环条件的循环体代码与非循环体代码对接，

在内存上升的情况下，放弃内存预估并将所述应用jar包提交运行。

7.如权利要求1所述的分布式数据处理系统中的内存预估与配置优化的方法，其特征在于，所述方法还包括：

在程序代码中的所述条件分支不存在的情况下，对所述应用jar包的程序代码进行循环体分析及处理，和/或

在程序代码中的所述条件分支和/或循环体均不存在的情况下，将所述应用jar包的程序数据流与数据特征库中的数据特征直接进行匹配。

8.如权利要求7所述的分布式数据处理系统中的内存预估与配置优化的方法，其特征在于，所述方法还包括：

在程序代码中的所述条件分支存在的情况下，自动填充所述条件分支的条件并枚举出所有的条件分支，对所述条件分支进行循环体代码分析。

9.一种分布式数据处理系统中的内存预估与配置优化系统，其特征在于，所述系统至少包括数据特征采集模块、内存预估模块和配置优化模块，

所述内存预估模块将经过针对应用jar包中程序代码的条件分支和/或循环体分析及处理的程序数据流与数据特征记录模块存储的数据特征库进行匹配，并且基于匹配成功的结果预估至少一个阶段的内存上限，

所述配置优化模块对应用程序进行配置参数优化，

所述数据特征采集模块基于优化后应用程序的运行过程采集程序数据的静态特征和/或动态特征并进行持久化记录。

10.如权利要求9所述的分布式数据处理系统中的内存预估与配置优化系统，其特征在于，

所述内存预估模块基于所述数据特征采集模块对程序数据的静态特征和/或动态特征的反馈结果再次预估至少一个阶段的内存上限。