[发明专利]一种批量数据采集方法、装置、可读存储介质及计算设备

权利要求书

1.一种批量数据采集方法，其特征在于，包括：

获取多个第一数据库的数据表的信息；

确定用于录入所述多个第一数据库的数据表的第二数据库的数据表；

确定代理agent集群采集所述多个第一数据库的数据表的采集策略；

指示所述agent集群按照所述采集策略，将所述多个第一数据库的数据表写入所述第二数据库的数据表。

2.如权利要求1所述的方法，其特征在于，指示所述agent集群按照所述采集策略，将所述多个第一数据库的数据表写入所述第二数据库的数据表之前，还包括：

根据所述多个第一数据库的数据表的信息，以及所述第二数据库的数据表的信息，确定所述多个第一数据库的数据表与所述第二数据库的数据表的映射规则；

指示所述agent集群按照所述采集策略，将所述多个第一数据库的数据表写入所述第二数据库的数据表，包括：

指示所述agent集群按照所述采集策略，采集所述多个第一数据库的数据表；

根据所述多个第一数据库的数据表与所述映射规则，将所述多个第一数据库的数据表写入所述第二数据库的数据表。

3.如权利要求2所述的方法，其特征在于，还包括：

根据所述多个第一数据库的数据表，校验所述第二数据库的数据表；

当确定所述第二数据库的数据表存在错误时，修复所述第二数据库的数据表；

根据所述第二数据库的数据表存在的错误及修复方式，更新所述映射规则。

4.如权利要求1所述的方法，其特征在于，所述采集策略包括：

各个采集任务的触发时间、执行周期、有效期；

所述触发时间，用于指示所述各个采集任务在每一执行周期内的触发时间点；

所述执行周期，用于指示所述agent集群执行采集任务的周期；

所述有效期，用于指示根据所述执行周期执行采集任务的时间段。

5.如权利要求4所述的方法，其特征在于，所述采集策略还包括：

各个采集任务的重做间隔、最长运行时长、失败重做次数以及是否覆盖执行的选择；

所述重做间隔，用于指示所述agent集群执行任一采集任务失败时，重新启动采集任务的时间间隔；

所述最长运行时长，用于指示所述任一采集任务的最长运行时长，当所述任一采集任务的执行时长大于所述最长运行时长时，确定所述任一采集任务失败并终止所述任一采集任务；

所述失败重做次数，用于指示所述任一采集任务失败时可重新执行任务的次数；

所述是否覆盖执行的选择，用于指示所述任一采集任务失败且重新执行任务后，新采集的数据是否覆盖已采集的数据。

6.如权利要求5所述的方法，其特征在于，所述采集策略还包括：

各个采集任务的启动类型、优先级；

所述启动类型，用于指示多个同优先级采集任务的启动顺序；

所述优先级，用于指示所述agent集群按照优先级的高低顺序执行采集任务。

7.如权利要求1所述的方法，其特征在于，确定用于录入所述多个第一数据库的数据表的第二数据库的数据表，包括：

根据所述多个第一数据库的数据表的信息，确定所述多个第一数据库的数据表的业务分类信息；

根据所述多个第一数据库的数据表的业务分类信息，确定所述业务分类信息对应的所述第二数据库的数据表。

8.一种批量数据采集装置，其特征在于，包括：

第一数据库获取单元，用于获取多个第一数据库的数据表的信息；

第二数据库确定单元，用于确定用于录入所述多个第一数据库的数据表的第二数据库的数据表；

采集策略制定单元，用于确定代理agent集群采集所述多个第一数据库的数据表的采集策略；

采集任务执行单元，用于指示所述agent集群按照所述采集策略，将所述多个第一数据库的数据表写入所述第二数据库的数据表。