[发明专利]一种Spark平台的内存监测方法、装置和存储介质

权利要求书

1.一种Spark平台的内存监测方法，其特征在于，所述Spark平台包括至少一个计算节点与对应的数据块管理器，所述方法包括：

初始化所述数据块管理器监控的计算节点对应的内存统计信息；

实时监控所述数据块管理器中存储的数据是否发生变动；

响应于发生变动的数据的数据类型为预设数据类型，基于所述发生变动的数据统计所述预定数据类型的数据的占用内存值，并更新所述内存统计信息。

2.根据权利要求1所述的Spark平台的内存监测方法，其特征在于，所述响应于发生变动的数据的数据类型为预设数据类型，基于所述发生变动的数据统计所述预定数据类型的数据的占用内存值，并更新所述内存统计信息的步骤，包括：

响应于所述数据块管理器存入新数据或删除所述数据块管理器中已存储的数据，判定所述数据块管理器中存储的数据发生变动；

确定所述存入的所述新数据或删除的数据的数据类型是否为所述预设数据类型，若是，则基于存入的所述新数据或删除的数据统计所述预定数据类型的数据的占用内存值，并更新所述内存统计信息。

3.根据权利要求2所述的Spark平台的内存监测方法，其特征在于，所述内存统计信息包括与所述预定数据类型的数据对应的内存统计值，所述基于存入的所述新数据或删除的数据统计所述预定数据类型的数据的占用内存值，并更新所述内存统计信息的步骤，包括：

获取所述新数据的占用内存值；

确定所述预定数据类型所对应的内存统计值，并将所述内存统计值与所述新数据的占用内存值相加，得到更新后的内存统计值；或

获取所述删除的数据的占用内存值；

确定所述预定数据类型所对应的内存统计值，并将所述内存统计值与所述删除的数据的占用内存值相减，得到更新后的内存统计值。

4.根据权利要求1所述的Spark平台的内存监测方法，其特征在于，所述计算节点用于执行计算任务；所述预定数据类型包括广播变量；所述方法还包括：

获取所述计算节点执行所述计算任务所需的至少一个数据，并存入所述计算节点对应的数据块管理器中；

响应于所述数据为广播变量分片数据，将所有所述广播变量分片数据的字节数相加，得到所有所述广播变量分片数据的占用内存值；

将所述广播变量对应的内存统计值与所有所述广播变量分片数据的占用内存值相加，得到更新后的内存统计值。

5.根据权利要求4所述的Spark平台的内存监测方法，其特征在于，在将所述至少一个数据存入所述计算节点对应的所述数据块管理器之后，包括：

将所有广播变量分片数据进行整合，得到整合后的广播变量数据，并存入所述数据块管理器；

利用内存估计算法计算所述广播变量数据的占用内存值，将所述广播变量数据的占用内存值与所述广播变量对应的内存统计值相加，得到更新后的内存统计值。

6.根据权利要求4所述的Spark平台的内存监测方法，其特征在于，所述Spark平台还包括驱动节点，所述获取所述计算节点执行所述计算任务所需的至少一个数据的步骤，包括：

所述计算节点向所述驱动节点发送数据请求，以使得所述驱动节点反馈响应信息；

基于所述响应信息，从所述驱动节点或除发送数据请求的计算节点之外的其他计算节点获取所述至少一个数据。

7.根据权利要求4所述的Spark平台的内存监测方法，其特征在于，所述方法还包括：

按照预设的时间间隔采集所述内存统计信息；

将所述内存统计信息发送给外部显示设备，以通过所述外部显示设备展示所述内存统计信息。

8.根据权利要求7所述的Spark平台的内存监测方法，其特征在于，所述计算任务包括至少一个计算阶段；所述内存统计信息还包括所述内存统计值每次更新的时间节点以及各个所述计算阶段的起止时间节点。