[发明专利]基于Spark平台的分布式调试方法、装置及电子设备

权利要求书

1.一种基于Spark平台的分布式调试方法，其特征在于，包括：

在所述Spark平台中设置扩展程序，通过所述扩展程序扩展所述Spark平台的弹性分布式数据集RDD类，使扩展后的RDD类支持断点操作和监视点操作；

在Spark程序的Driver进程中设置第一调试控制程序，并在所述Spark程序的Executor进程中设置第二调试控制程序；

基于所述扩展后的RDD类，通过所述第一调试控制程序和所述第二调试控制程序，对所述Spark程序进行断点调试或监视点调试。

2.根据权利要求1所述的方法，其特征在于，所述对所述Spark程序进行断点调试，包括：

当检测到所述Executor进程遇到断点时，控制所述第二调试控制程序暂停执行所述Executor进程；

和/或者，当检测到所述Driver进程接收到指示所述Executor进程继续执行的指令后，通过所述第一调试控制程序控制所述第二调试控制程序继续执行所述Executor进程。

3.根据权利要求1所述的方法，其特征在于，所述对所述Spark程序进行监视点调试，包括：

当检测到所述Executor进程遇到监视点时，控制所述第二调试控制程序按照预设规则对当前RDD类中包括的RDD分布式数据进行计算，并判断计算结果是否满足预设条件；

如果计算结果满足所述预设条件，控制所述第二调试控制程序暂停执行所述Executor进程；和/或者，当检测到所述Driver进程接收到指示所述Executor进程继续执行的指令后，通过所述第一调试控制程序控制所述第二调试控制程序继续执行所述Executor进程；

或者，如果计算结果不满足所述预设条件，控制所述第二调试控制程序继续执行所述Executor进程。

4.根据权利要求2或3所述的方法，其特征在于，在所述控制所述第二调试控制程序暂停执行所述Executor进程后，所述方法还包括：

通过所述第二调试控制程序将所述Executor进程对应的变量信息发送给所述第一调试控制程序；

控制所述第一调试控制程序展示所述变量信息。

5.根据权利要求4所述的方法，其特征在于，所述变量信息存储于所述Executor进程对应的内存中。

6.一种基于Spark平台的分布式调试装置，其特征在于，包括：

扩展模块，用于在所述Spark平台中设置扩展程序，通过所述扩展程序扩展所述Spark平台的弹性分布式数据集RDD类，使扩展后的RDD类支持断点操作和监视点操作；

设置模块，用于在Spark程序的Driver进程中设置第一调试控制程序，并在所述Spark程序的Executor进程中设置第二调试控制程序；

调试模块，用于基于所述扩展后的RDD类，通过所述第一调试控制程序和所述第二调试控制程序，对所述Spark程序进行断点调试或监视点调试。

7.根据权利要求6所述的装置，其特征在于，所述调试模块包括：

第一控制子模块，用于当检测到所述Executor进程遇到断点时，控制所述第二调试控制程序暂停执行所述Executor进程；

和/或者，第一调试子模块，用于当检测到所述Driver进程接收到指示所述Executor进程继续执行的指令后，通过所述第一调试控制程序控制所述第二调试控制程序继续执行所述Executor进程。