[发明专利]一种Spark平台的内存监测方法、装置和存储介质

说明书

本申请公开了一种Spark平台的内存监测方法、装置和存储介质，Spark平台包括至少一个计算节点与对应的数据块管理器，该内存监测方法包括：初始化数据块管理器监控的计算节点对应的内存统计信息；实时监控数据块管理器中存储的数据是否发生变动；响应于发生变动的数据的数据类型为预设数据类型，基于发生变动的数据统计预定数据类型的数据的占用内存值，并更新内存统计信息。通过上述方式，本申请能够实时监测Spark平台的内存占用情况。

技术领域

本申请涉及计算机技术领域，具体涉及一种Spark平台的内存监测方法、装置和存储介质。

背景技术

目前在Spark平台的运行过程中，开发者/用户只能了解Spark平台整体的内存使用量，无法实时准确地获取Spark平台中更详细的内存占用情况，开发者/用户无法根据内存整体的使用量及时规避内存溢出的异常情况，在内存溢出的情况发生时也无法及时排查出问题。

发明内容

本申请提供一种Spark平台的内存监测方法、装置和存储介质，能够实时监测Spark平台的内存占用情况。

为解决上述技术问题，本申请采用的技术方案是：提供一种Spark平台的内存监测方法，Spark平台包括至少一个计算节点与对应的数据块管理器，该内存监测方法包括：初始化数据块管理器监控的计算节点对应的内存统计信息；实时监控数据块管理器中存储的数据是否发生变动；响应于发生变动的数据的数据类型为预设数据类型，基于发生变动的数据统计预定数据类型的数据的占用内存值，并更新内存统计信息。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种Spark平台的内存监测装置，装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的Spark平台的内存监测方法。

为解决上述技术问题，本申请采用的又一技术方案是：提供一种计算机可读存储介质，其用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的Spark平台的内存监测方法。

通过上述方案，本申请的有益效果是：先初始化数据块管理器对应的内存统计信息，实时监控数据块管理器中存储的数据是否发生变动，然后响应于发生变动的数据的数据类型为预设数据类型，根据发生变动的数据统计预定数据类型的数据的占用内存值，并更新内存统计信息；对发生变动的预设数据类型的数据的内存值进行实时统计并更新，实现准确监测Spark平台在运行过程中的实时内存占用情况的效果，同时通过预设数据类型的设置能够满足开发人员自定义的内存监测需求。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的Spark平台的内存监测方法一实施例的流程示意图；

图2是本申请提供的Spark平台的内存监测方法另一实施例的流程示意图；

图3-4是本申请提供的广播变量的内存监测方法的流程示意图；

图5是本申请提供的内存统计信息的折线图；

图6是本申请提供的Spark平台的内存监测装置一实施例的结构示意图；

图7是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。