[发明专利]物理核超多线程服务器上大数据集群性能优化方法及装置

权利要求书

1.一种物理核超多线程服务器上大数据集群性能优化方法，其特征在于，包括如下步骤：

在物理核超线程形成逻辑核之后，将逻辑核划分为n个虚拟核；

将Job分解为m个子阶段并给不同阶段的容器分配不同的虚拟核；

实时监控每个物理核负载，根据监控结果动态调节虚拟核使用数；具体包括：监控每个物理核的虚拟核的load值；根据不同时间段的load值进行该逻辑核在一段时间内的负载程度的判断；根据负载程度动态调整job执行中的下一阶段时该逻辑核所对应的虚拟核被容器调用的数目；当判断逻辑核处于高负载状态，则减少job执行中的下一阶段时该逻辑核所对应的虚拟核被容器调用的数目；当判断逻辑核处于非高负载状态，且此时同一物理核集合中没有处于高负载状态的逻辑核，则增加该job执行中的下一阶段时该逻辑核对应的虚拟核被容器调用的数目。

2.根据权利要求1所述的一种物理核超多线程服务器上大数据集群性能优化方法，其特征在于，所述的在物理核超线程形成逻辑核之后，将逻辑核划分为n个虚拟核的步骤还包括：

对同一物理核所属的虚拟核建立标识；即将每一个物理核所对应形成的逻辑核划分到一个集合中并对虚拟核进行标识。

3.根据权利要求2所述的一种物理核超多线程服务器上大数据集群性能优化方法，其特征在于，所述的将Job分解为m个子阶段并给不同阶段的容器分配不同的虚拟核的步骤具体包括：

结合spark、flink组件将一个job分成m个子阶段；

将m个子阶段的虚拟核按照时间顺序进行调度；

通过改变每个子阶段所使用的容器数与每个容器中所调度的虚拟核资源来使每个子阶段所利用的虚拟核的资源不同，结合每一个物理核划分的集合来标记其所形成的全部虚拟核来进行区分调度。

4.根据权利要求3所述的一种物理核超多线程服务器上大数据集群性能优化方法，其特征在于，所述的实时监控每个物理核负载根据监控结果动态调节虚拟核使用数的步骤包括：

根据CPU的型号不同设定CPU的基准负载值和CPU的触发负载值；

实时监控每个逻辑核的设定时间段内逻辑核的load值，建立逻辑核负载程度数学模型，负载程度数学模型输出值分别与CPU的基准负载值和CPU的触发负载值进行比较，根据比较结果调整job执行中的下一阶段时该逻辑核所对应的虚拟核被容器调用的数目。

5.根据权利要求4所述的一种物理核超多线程服务器上大数据集群性能优化方法，其特征在于，所述的设定时间段为第一时间段、第二时间段、第三时间段；

实时监测每个逻辑核的过去第一时间段、第二时间段、第三时间段内逻辑核的load值，设置其值分别为x，y，z；

设定逻辑核负载程度F=x*0.4+y*0.35+z*0.25；

当Fa时，判断该逻辑核处于高负载状态；

当F=b时，判断该逻辑核处于非高负载状态。

6.一种物理核超多线程服务器上大数据集群性能优化装置，其特征在于，包括逻辑核划分模块、处理分配模块、监控调整模块；

逻辑核划分模块，用于在物理核超线程形成逻辑核之后，将逻辑核划分为n个虚拟核；

处理分配模块，用于将Job分解为m个子阶段并给不同阶段的容器分配不同的虚拟核；

监控调整模块，用于实时监控每个物理核负载根据监控结果动态调节虚拟核的使用数，具体用于监控每个物理核的虚拟核的load值；根据不同时间段的load值进行该逻辑核在一段时间内的负载程度的判断；根据负载程度动态调整job执行中的下一阶段时该逻辑核所对应的虚拟核被容器调用的数目；当判断逻辑核处于高负载状态，则减少job执行中的下一阶段时该逻辑核所对应的虚拟核被容器调用的数目；当判断逻辑核处于非高负载状态，且此时同一物理核集合中没有处于高负载状态的逻辑核，则增加该job执行中的下一阶段时该逻辑核对应的虚拟核被容器调用的数目。