[发明专利]基于Spark平台的分布式调试方法、装置及电子设备

说明书

本发明实施例提供了一种基于Spark平台的分布式调试方法、装置及电子设备，该方法包括：在Spark平台中设置扩展程序，通过该扩展程序扩展Spark平台的弹性分布式数据集RDD类，使扩展后的RDD类支持断点操作和监视点操作；在Spark程序的Driver进程中设置第一调试控制程序，并在Spark程序的Executor进程中设置第二调试控制程序；基于扩展后的RDD类，通过第一调试控制程序和第二调试控制程序，对Spark程序进行断点调试或监视点调试。本发明实施例能够方便开发人员在Spark程序运行时对Spark程序进行调试，提高调试效率，从而为减少分布式程序bug并提高分布式程序质量打下基础。

技术领域

本发明涉及计算机技术领域，特别是涉及一种基于Spark平台的分布式调试方法、装置及电子设备。

背景技术

Spark是加州大学伯克利分校的AMP实验室所开源的通用并行框架。当用户在Spark框架下开发分布式Spark程序时，需要对分布式Spark程序进行调试，以减少分布式Spark程序的bug。

目前，针对分布式Spark程序的调试方法为：程序开发者通过打印日志对分布式Spark程序进行调试。

然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：通过打印日志的方法对分布式Spark程序进行调试时，并不能在分布式Spark程序运行时直接对其进行调试，而且针对分布式Spark程序，需要将各个分布式节点保存的日志搜集起来进行分析，因而现有的通过打印日志调试分布式Spark程序的方法并不直观，而且调试效率低。

发明内容

本发明实施例的目的在于提供一种基于Spark平台的分布式调试方法、装置及电子设备，以实现在Spark程序运行时对Spark程序进行调试，提高调试效率。具体技术方案如下：

为达到上述目的，第一方面，本发明实施例公开了一种基于Spark平台的分布式调试方法，该方法包括：

在所述Spark平台中设置扩展程序，通过所述扩展程序扩展所述Spark平台的弹性分布式数据集RDD类，使扩展后的RDD类支持断点操作和监视点操作；

在Spark程序的Driver进程中设置第一调试控制程序，并在所述Spark程序的Executor进程中设置第二调试控制程序；

基于所述扩展后的RDD类，通过所述第一调试控制程序和所述第二调试控制程序，对所述Spark程序进行断点调试或监视点调试。

可选地，所述对所述Spark程序进行断点调试，包括：

当检测到所述Executor进程遇到断点时，控制所述第二调试控制程序暂停执行所述Executor进程；

和/或者，当检测到所述Driver进程接收到指示所述Executor进程继续执行的指令后，通过所述第一调试控制程序控制所述第二调试控制程序继续执行所述Executor进程。

可选地，所述对所述Spark程序进行监视点调试，包括：

当检测到所述Executor进程遇到监视点时，控制所述第二调试控制程序按照预设规则对当前RDD类中包括的RDD分布式数据进行计算，并判断计算结果是否满足预设条件；

如果计算结果满足所述预设条件，控制所述第二调试控制程序暂停执行所述Executor进程；和/或者，当检测到所述Driver进程接收到指示所述Executor进程继续执行的指令后，通过所述第一调试控制程序控制所述第二调试控制程序继续执行所述Executor进程；

或者，如果计算结果不满足所述预设条件，控制所述第二调试控制程序继续执行所述Executor进程。

可选地，在所述控制所述第二调试控制程序暂停执行所述Executor进程后，所述方法还包括：