[发明专利]一种解决大数据处理系统中内存资源激烈竞争的系统

摘要

本发明公开了一种解决大数据处理系统中内存资源激烈竞争的系统，内存信息反馈模块用于对运行中的线程任务进行内存使用情况的监测，并将收集的内存信息转化后反馈给信息采样与分析模块；信息采样与分析模块用于动态调控各个工作节点信息的采样次数，并且达到指定的采样次数后对数据进行分析，计算出当前工作节点的最佳CPU与内存比例；决策与任务分发模块根据分析得到的信息和当前工作节点的任务运行信息，决策控制是否分发新的任务到工作节点进行计算操作，实现对CPU与内存使用关系的有效限制。本发明能够在通用的大数据平台上实现内存感知的任务分发机制，降低内存资源激烈竞争所导致的数据溢出到磁盘的I/O开销，并且有效提高系统的整体性能。

主权项

1.一种解决大数据处理系统中内存资源激烈竞争的系统，其特征在于，包括内存信息反馈模块、信息采样与分析模块、决策与任务分发模块，其中：内存信息反馈模块用于对运行中的线程任务进行内存使用情况的监测，并将收集的内存信息转化后反馈给信息采样与分析模块；信息采样与分析模块用于动态调控各个工作节点信息的采样次数，并且达到指定的采样次数后对数据进行分析，计算出当前工作节点的最佳CPU与内存比例，并将结果数据提交给决策与任务分发模块；决策与任务分发模块根据分析得到的信息和当前工作节点的任务运行信息，决策控制是否分发新的任务到工作节点进行计算操作，实现对CPU与内存使用关系的有效限制；所述内存信息反馈模块部署在每个工作节点上，追踪每一个线程任务运行过程中消耗的内存量S_mem，并且记录内存不足时，内存数据溢出到磁盘的数据量S_spill，接着当线程任务运行完后，根据线程任务消耗的内存总量S_mem+S_spill，以及工作节点分配给计算所需的最大内存空间S_max和线程任务所允许的最大并发度CL_max即申请的CPU核数，计算出适合当前资源环境的最佳并发度CL_op反馈给主节点的信息采样与分析模块；当S_spill＝0时，说明当前的内存比较充足，CL_op＝CL_max；否则，内存资源不足，竞争激烈，信息采样与分析模块通过哈希表来管理采样数据，将各个工作节点收集的采样数据快速地分配到各个对应的处理模块进行分析处理，收到采样数据后，更新采样次数SN；每个模块在指定的采样次数SN达到之后，将累加收集到的所有采样数据CL_op，得到最后计算出适合工作节点当前最佳的并发度提交给决策与任务分发模块；决策与任务分发模块根据当前工作节点的并发度信息CL_current，以及信息采样与分析模块提交的CL_best，用CL_best直接赋值来更新当前的并发度信息CL_current和采样次数SN；最后任务分发模块根据更新后的CL_current值和工作节点当前正在运行的线程任务数量T_num决策剩余线程任务是否分发到工作节点，当CL_current>T_num时，继续分发任务到该工作子节点，并且更新T_num＝T_num+1；在信息采样与分析模块收集采样数据的次数未达到SN的过程中，如果收集到CL_op<CL_current时，说明当前内存资源竞争非常激烈，按照原来的CL_current值分发任务，不能快速的缓解竞争压力，需要实时做出调整CL_current＝CL_op。