[发明专利]一种数据采集系统

权利要求书

1.一种数据采集系统，其特征在于，包括：主节点、子节点、预设数量的采集子节点和合并子节点；

所述主节点，用于将相同数据类型的待采集数据表的数据采集任务作为一个采集任务，得到多个采集任务；

所述子节点，用于分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的数据采集任务，至少分割为一个采集子任务，得到多个采集子任务；

所述预设数量的采集子节点，用于采用并行的方式执行所述采集子任务，得到每个采集子任务中的每个待采集数据表在相应的采集子任务下的采集数据；

所述合并子节点，用于在任意一个待采集数据表在采集子任务下的数据都被采集完成的情况下，将该待采集数据表在采集子任务下的采集数据，写入预设文件中，得到该待采集数据表的数据采集文件。

2.根据权利要求1所述的系统，其特征在于，所述主节点，还用于在将相同数据类型的待采集数据表的数据采集任务作为一个采集任务，得到多个采集任务之后，向消息队列中发送第一消息；所述第一消息包括：每个采集任务包含的待采集数据表的名称；

所述子节点，用于分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的采集任务，至少分割为一个采集子任务，得到多个采集子任务，包括：

所述子节点，具体用于在监听到所述第一消息的情况下，分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的采集任务，至少分割为一个采集子任务，得到多个采集子任务。

3.根据权利要求2所述的系统，其特征在于，所述子节点，用于将任一所述采集任务中的待采集数据表中属于同一个数据库的数据表的采集任务，至少分割为一个采集子任务，得到多个采集子任务，包括：

所述子节点，具体用于判断该采集任务中的目标待采集数据表是否为分库分表的数据表；在所述目标待采集数据表为分库分表的情况下，将所述目标待采集数据表中属于同一个数据库的数据表的采集任务，作为一个采集子任务，得到多个采集子任务；所述目标待采集数据表为该采集任务中的任一待采集数据表。

4.根据权利要求1所述的系统，其特征在于，所述子节点，还用于在分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的采集任务，至少分割为一个采集子任务，得到多个采集子任务之后，向消息队列发送第二消息；所述第二消息包括：每个采集子任务分别对应的数据库编号，以及每个采集子任务中的每个待采集数据表分别在对应的数据库中的数据表名称；

所述预设数量的采集子节点，用于执行任一采集子任务，得到该采集子任务中的每个待采集数据表在该采集子任务下的采集数据，包括：

所述预设数量的采集子节点，具体用于在监听到所述第二消息的情况下，分别对所述第二消息中该采集子任务中的每个待采集数据表对应的数据表名称指示的数据表，进行数据采集，得到该采集子任务中的每个待采集数据表在该采集子任务下的采集数据。

5.根据权利要求4所述的系统，其特征在于，任一所述采集子节点，用于对任一采集子任务中的任一待采集数据表对应的数据表名称指示的数据表，进行数据采集，包括：

该采集子节点，具体用于分别针对每个省，对该待采集数据表对应的数据表名称指示的数据表进行数据采集，得到该待采集数据表在该采集子任务下每个省的采集数据。

6.根据权利要求5所述的系统，其特征在于，该采集子节点，用于分别针对每个省，对该待采集数据表对应的数据表名称指示的数据表进行数据采集，得到该待采集数据表在该采集子任务下每个省的采集数据，包括：

该采集子节点，具体用于获取待采集字段映射表；所述待采集字段映射表包括待采集的字段名称、顺序和格式；按照所述待采集字段映射表，分别针对每个省，对该待采集数据表对应的数据表名称指示的数据表进行数据采集，得到该待采集数据表在该采集子任务下每个省的采集数据。