[发明专利]数据处理方法、系统、电子设备和存储介质

权利要求书

1.一种数据处理方法，应用于调度设备，所述方法包括：

获取配置信息，其中，所述配置信息包括待抽样的目标对象的对象信息和抽样规则，所述目标对象存储于源集群设备，所述源集群设备包括相互独立的沙盒区和非沙盒区，所述目标对象存储于所述非沙盒区；

基于所述抽样规则和所述对象信息，生成控制指令；以及

向所述源集群设备发送所述控制指令，以使所述源集群设备对所述目标对象中的源数据进行抽样，将抽样获得的抽样数据存储到所述源集群设备的沙盒区，并将所述抽样数据从所述沙盒区复制到目标集群设备；

其中，所述配置信息还包括脱敏配置；所述基于所述抽样规则和所述对象信息，生成控制指令包括：基于所述对象信息，确定所述目标对象的元数据；基于所述元数据，建立数据表；根据所述脱敏配置确定脱敏函数，所述脱敏函数用于对所述抽样数据进行数据脱敏；以及

根据所述抽样规则、所述数据表和所述脱敏函数，生成控制指令。

2.根据权利要求1所述的方法，其中，生成所述控制指令以便执行以下操作：

根据所述抽样规则和所述对象信息，从所述目标对象中获得抽样数据；

对所述抽样数据进行数据脱敏，获得脱敏数据；

将所述脱敏数据保存到所述沙盒区；以及

将所述脱敏数据从所述沙盒区复制到所述目标集群设备。

3.根据权利要求1所述的方法，还包括：

在存在用于分别执行不同任务的多个控制指令的情况下，获取并发配置参数；

基于所述并发配置参数，确定所述源集群设备同时执行的任务的任务数量；以及

基于所述任务数量，控制所述源集群设备执行多个所述控制指令。

4.根据权利要求3所述的方法，其中，所述基于所述任务数量，控制所述源集群设备执行多个所述控制指令包括：

获取所述源集群设备中的当前可用资源；

基于所述当前可用资源和所述任务数量，确定分配给每个所述任务的当前可用资源，以使用分配的当前可用资源运行该任务的控制指令。

5.根据权利要求4所述的方法，还包括：

生成所述调度设备获取所述源集群设备中的当前可用资源的获取记录，以便查询所述获取记录中是否存在异常的获取记录。

6.根据权利要求1所述的方法，还包括：

校验复制到所述目标集群中的数据量是否与所述沙盒区存储的原始数据量一致；以及

在所述数据量与所述原始数据量不一致的情况下，发出告警信息。

7.一种数据处理系统，包括：

源集群设备，所述源集群设备包括沙盒区和非沙盒区，所述沙盒区与所述非沙盒区相互独立，所述非沙盒区中存储有目标对象；

目标集群设备；以及

调度设备，所述调度设备用于执行如权利要求1～6任意一项所述的方法，

其中，所述源集群设备用于响应于所述控制指令，对所述非沙盒区中存储的目标对象进行抽样，以获得抽样数据，将所述抽样数据存储到所述沙盒区，并将所述抽样数据从沙盒区复制到所述目标集群设备。

8.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1～6任意一项所述的方法。

9.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如权利要求1～6任意一项所述的方法。