[发明专利]数据采集方法、装置、电子设备和存储介质

说明书

本申请实施例提供一种数据采集方法、装置、电子设备和存储介质，所述数据采集方法包括：获取当前采集域中的采集节点的个数；基于所述采集节点的个数，为所述采集域中的每个所述采集节点分配预设分片序号；基于所述预设分片序号，加载所述采集节点对应的采集任务；根据所述采集任务的采集方式，调用对应的采集管理器进行数据采集。本申请实现了提高数据采集的完整性。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种数据采集方法、装置、电子设备和存储介质。

背景技术

现在电信网络的规模都很大，用到的设备、软件种类繁多，广泛的区分IT、CT、IOT等设备；细分包括网络设备、中间件、数据库、虚拟化、云平台等。面对种类繁多的设备、软件的监控采集往往需要部署N多套监控采集系统，这就无形中增加了开发和运维的成本，多套采集系统并行运行，造成极大的人力资源浪费。

传统的采集基本都是任务单采集，很容易出现因承载采集任务采集机宕机、服务中断等原因导致该采集机上运行任务执行失败，从而导致采集的缺失。

发明内容

本申请实施例的目的在于提供一种数据采集方法、装置、电子设备和存储介质，用以实现提高数据采集的完整性。

本申请实施例第一方面提供了一种数据采集方法，包括：获取当前采集域中的采集节点的个数；基于所述采集节点的个数，为所述采集域中的每个所述采集节点分配预设分片序号；基于所述预设分片序号，加载所述采集节点对应的采集任务；根据所述采集任务的采集方式，调用对应的采集管理器进行数据采集。

于一实施例中，所述方法还包括：对所述采集节点进行监控；当所述采集节点启动时，将所述采集节点加入所述采集域；当所述采集域中的所述采集节点停止时，将所述采集节点从所述采集域中删除。

于一实施例中，所述当所述采集节点启动时，将所述采集节点加入所述采集域，包括：发送所述采集节点的注册信息至注册中心；判断所述采集域中是否已经存在其他采集节点；当所述采集域中不存在其他采集节点时，在所述采集域中创建所述采集节点并标记为第一节点，所述第一节点为主节点；当所述采集域中已经存在其他采集节点时，将所述采集节点加入所述采集域并生成节点编号。

于一实施例中，所述当所述采集域中的所述采集节点停止时，将所述采集节点从所述采集域中删除，包括：判断停止的所述采集节点是否为主节点；当停止的所述采集节点为主节点时，将所述采集节点从所述采集域中删除，按照预设规则重新确定主节点；当停止的所述采集节点不为主节点时，将所述采集节点从所述采集域中删除。

于一实施例中，所述基于所述采集节点的个数，为所述采集域中的每个所述采集节点分配预设分片序号，包括：当所述预设分片序号的个数是所述采集节点的个数的整数倍时，将所述预设分片序号平均分配给每个所述采集节点；当所述预设分片序号的个数不是所述采集节点的个数的整数倍时，将所述预设分片序号平均分配给每个所述采集节点，多余的所述预设分片序号分配给所述主节点。

于一实施例中，所述采集任务携带任务编号，所述基于所述预设分片序号，加载所述采集节点对应的采集任务，包括：当所述采集节点的分片序号包括第一数值时，加载所述任务编号的预设位数为所述第一数值的采集任务。

于一实施例中，所述根据所述采集任务的采集方式，调用对应的采集管理器进行数据采集，包括：判断当前时间与上一次采集时间的时间差是否达到预设时长若当前时间与上一次采集时间的时间差达到预设时长，则根据所述采集任务的采集方式，调用对应的采集管理器进行数据采集。

本申请实施例第二方面提供了一种数据采集装置，包括：获取模块，用于获取当前采集域中的采集节点的个数；分配模块，用于基于所述采集节点的个数，为所述采集域中的每个所述采集节点分配预设分片序号；加载模块，用于基于所述预设分片序号，加载所述采集节点对应的采集任务；采集模块，用于根据所述采集任务的采集方式，调用对应的采集管理器进行数据采集。