[发明专利]一种维护内存使用的方法、系统、存储介质及电子设备

说明书

本申请公开了一种维护内存使用的方法、系统、存储介质及电子设备。一种维护内存使用的方法包括：监控步骤：监控所有notebook内存使用情况；阈值设置步骤：设置内存使用阈值；中止步骤：对于内存使用超出所述阈值的notebook，操作系统中止所述notebook的内存使用。本发明在notebook页面中嵌入一个web请求,每次web页面对接口进行刷新,后端代码通过获取操作系统的内存、notebook使用的内存进行检测，设定一个内存使用的阈值,超出该阈值则对当前用户打开的所有notebook进行排序,找出占用内存最大的notebook进程,并进行内存使用中止操作。实时保护服务器内存使用,避免出现死机或重启,确保用户的开发环境稳定，提升开发效率,增强服务的安全性。

技术领域

本申请涉及计算机技术领域，尤其涉及一种维护内存使用的方法、系统、存储介质及电子设备。

背景技术

随着网络技术的发展，Jupyter为一种基于web的数据分析/机器学习开发框架,数据科学家及数据分析人员可以在基于jupyter框架开发的notebook界面中很方便的使用各种主流数据分析语言进行数据分析/机器学习/深度学习的开发工作,并做到所见即所得的功能。在jupyter环境中,每新建一个notebook即会占用操作系统的一个进程,会被操作系统分配内存及CPU。而在数据分析开发中,通常需要加载大量的数据到内存中,很容易造成内存溢出,尤其是在docker或k8s容器环境下,这种影响更为明显,内存溢出会造成服务器死机或重启,中断用户的开发工作,使得单用户或基于相同服务器的其他用户的开发受到巨大的影响。

因此，针对以上现状，本发明提出了一种维护内存使用的方法、系统、存储介质及电子设备。本发明通过调用python的psutil模块或操作系统的内存报告(docker或k8s环境下),获取服务器总内存,以及当前notebook及其子进程所占用的内存,计算出每个notebook父进程及其子进程所占用的内存大小,与操作系统总内存进行对比,同时对多个notebook父进程及其子进程内存占用之和进行排序,找出占用最多的notebook父进程及其子进程。如所有notebook及子进程内存占用之和达到或超过服务器总内存设定的检测比率,则调用操作系统的进程中止信号对内存占用最大的notebook进行kill操作,释放其占用的内存。

发明内容

本申请实施例提供了一种维护内存使用的方法、系统、存储介质及电子设备，以至少解决相关技术中主观因素影响的问题。

本发明提供了一种维护内存使用的方法，包括以下步骤：

监控步骤：监控所有notebook内存使用情况；

阈值设置步骤：设置内存使用阈值；

中止步骤：对于内存使用超出所述阈值的notebook，操作系统中止所述notebook的内存使用。

上述的维护内存使用的方法，其特征在于，所述监控步骤还包括：

刷新步骤：jupyter notebook web页面会执行定期接口刷新的操作；

内存使用值获取步骤：通过接口获取当前服务器总内存、所述notebook进程识别号以及它们使用内存的字节数；

内存使用值计算步骤：通过接口将所述notebook及其子进程对内存的占用进行累加,计算内存使用量总值。

上述的维护内存使用的方法，其特征在于，所述阈值设置步骤具体包括，设置特定的内存使用标准阈值。

上述的维护内存使用的方法，其特征在于，所述中止步骤具体包括：

数组创建步骤：将所述notebook的所述进程识别号、内存使用量、进程名称放入一个python数组，所述数组放入一个新的python数组里，形成二维数组；