[发明专利]Spark平台的内存动态管理方法和装置

说明书

本发明提出一种Spark平台的内存动态管理方法和装置，该方法包括确定Spark平台运行过程中产生内存溢出的第一情况类型；根据与第一情况类型对应方法对内存进行动态管理；其中，第一情况类型包括：Map阶段的内存溢出、调用coalesce函数所造成的内存溢出、Shuffle阶段的内存溢出、单例模式下资源分配不均匀所造成的内存溢出、数据倾斜所造成的内存溢出。通过本发明能够有效地避免Spark平台运行过程的内存溢出，提升Spark平台运行的稳健性和运行效果。

技术领域

本发明涉及计算机技术领域，尤其涉及一种Spark平台的内存动态管理方法和装置。

背景技术

Spark平台在一个执行节点Executor中的内存分为三块：execution内存、storage内存，以及other内存。其中，execution内存为执行内存，join类操作和aggregate类操作等均在execution内存中执行，Shuffle阶段的数据也会先缓存在execution内存中，execution内存存满之后，再将数据写入磁盘，能够减少输入/输出，Map阶段也在execution内存中执行的；storage内存用于存储broadcast类操作、cache类操作，以及persist类操作等数据；other内存是Spark平台中的程序执行时预留的内存。相关技术中，避免Spark平台运行过程的内存溢出的方式通常为静态地管理，这种方式下，不能有效地在Spark平台运行过程中及时避免内存溢出。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种Spark平台的内存动态管理方法，能够有效地避免Spark平台运行过程的内存溢出，提升Spark平台运行的稳健性和运行效果。

本发明的另一个目的在于提出一种Spark平台的内存动态管理装置。

本发明的另一个目的在于提出一种非临时性计算机可读存储介质。

本发明的另一个目的在于提出一种计算机程序产品。

为达到上述目的，本发明第一方面实施例提出的Spark平台的内存动态管理方法，包括：确定所述Spark平台运行过程中产生内存溢出的第一情况类型；根据与所述第一情况类型对应方法对所述内存进行动态管理；其中，所述第一情况类型包括：Map阶段的内存溢出、调用coalesce函数所造成的内存溢出、Shuffle阶段的内存溢出、单例模式下资源分配不均匀所造成的内存溢出、数据倾斜所造成的内存溢出；所述根据与所述第一情况类型对应方法对所述内存进行动态管理，包括：若所述第一情况类型为所述Map阶段的内存溢出和所述调用coalesce函数所造成的内存溢出，则在所述Map阶段的Map操作之前，对每个Task进行分区处理；若所述第一情况类型为所述Shuffle阶段的内存溢出，则对Shuffle阶段中所传入参数partitioner的数量进行调整处理；若所述第一情况类型为所述单例模式下资源分配不均匀所造成的内存溢出，则在单例模式下对参数executor-cores或者参数spark.executor.cores进行配置处理；若所述第一情况类型为所述数据倾斜所造成的内存溢出，则确定产生所述数据倾斜的代码位置和数据分布情况，根据所述代码位置和数据分布情况对所述内存进行动态管理。

本发明第一方面实施例提出的Spark平台的内存动态管理方法，通过确定Spark平台运行过程中产生内存溢出的第一情况类型，根据与第一情况类型对应方法对内存进行动态管理，由于第一情况类型考量了可能产生内存溢出的多种原因，进而，采用针对性的解决方案对Spark平台运行过程中的内存进行动态管理，能够有效地避免Spark平台运行过程的内存溢出，提升Spark平台运行的稳健性和运行效果。