[发明专利]一种基于yarn的cgroup内存控制优化方法及系统

权利要求书

1.一种基于yarn的cgroup内存控制优化方法，其特征在于，其包括如下步骤：

S1、在每个管理节点NM启动时对容器container所在的控制组cgroup内存控制目录的父目录设置一个跟计算节点相关的内存hardlimit；

S2、开启event_control功能用以打开面向对象方法oom事件监听功能，开启use_hierarchy；

S3、开启oom_kill_disable功能用于关闭oom kill功能，并将oom kill功能交给NM启动的另外一个独立的线程Container Monitor进行处理；

S4、将在用户提交应用程序app时设置的硬件限制hardlimit修改为cgroup中container所在目录的softlimit；

其中，在container启动的时候，设置container内存cgroup目录的limit_in_bytes为父目录中limit_in_bytes相同的一个值，同时soft_limit_in_bytes为用户设置的该container估计的内存资源使用量。

2.如权利要求1所述的基于yarn的cgroup内存控制优化方法，其特征在于，其特征在于，所述步骤S2中cgroup控制的分组采用层次结构。

3.如权利要求1所述的基于yarn的cgroup内存控制优化方法，其特征在于，

所述步骤S3中Container Monitor利用linux内核的一个接口监听container内存cgroup目录的父目录的oom event事件，从而进行统一的oom kill处理。

4.如权利要求3所述的基于yarn的cgroup内存控制优化方法，其特征在于，

Container Monitor利用linux内核的一个接口监听container内存cgroup目录的父目录的oom event事件包括：

Container Monitor进程利用内存的api，监控container内存cgroup目录的父目录的oom事件，当发现oom事件触发时，通过比较挑选超过预设内存资源最多的container进行杀死kill；

所述步骤S4中hardlimit保持跟父目录一致。

5.一种基于yarn的cgroup内存控制优化系统，其特征在于，其包括如下单元：

内存设置单元，用于在每个管理节点NM启动时对容器container所在的控制组cgroup内存控制目录的父目录设置一个跟计算节点相关的内存hardlimit；

监听开启单元，用于开启event_control功能用以打开面向对象方法oom事件监听功能，开启use_hierarchy；

Kill开启单元，用于开启oom_kill_disable功能用于关闭oom kill功能，并将oomkill功能交给NM启动的另外一个独立的线程Container Monitor进行处理；

目录修改单元，用于将在用户提交应用程序app时设置的硬件限制hardlimit修改为cgroup中container所在目录的softlimit；

其中，在container启动的时候，设置container内存cgroup目录的limit_in_bytes为父目录中limit_in_bytes相同的一个值，同时soft_limit_in_bytes为用户设置的该container估计的内存资源使用量。

6.如权利要求5所述的基于yarn的cgroup内存控制优化系统，其特征在于，其特征在于，

所述监听开启单元中cgroup控制的分组采用层次结构。

7.如权利要求5所述的基于yarn的cgroup内存控制优化系统，其特征在于，

所述Kill开启单元中Container Monitor利用linux内核的一个接口监听container内存cgroup目录的父目录的oom event事件，从而进行统一的oom kill处理。

8.如权利要求7所述的基于yarn的cgroup内存控制优化系统，其特征在于，

Container Monitor利用linux内核的一个接口监听container内存cgroup目录的父目录的oom event事件包括：

Container Monitor进程利用内存的api，监控container内存cgroup目录的父目录的oom事件，当发现oom事件触发时，通过比较挑选超过预设内存资源最多的container进行杀死kill；

所述步骤S4中hardlimit保持跟父目录一致。