[发明专利]一种提高集群数据采集能力的方法、装置及介质

说明书

本申请公开了一种提高集群数据采集能力的方法、装置及介质，涉及系统设计技术领域。该方法首先从多个节点中选取多个Leader；然后当各节点启动时，控制各节点从多个Leader中选取对应的Leader，并向Leader上报数据以便在各Leader中得到对应的本地节点的数据以及各Leader对上报数据统计生成元数据；最后控制各Leader交互元数据。该方法中包含了多个可以上报数据的Leader，其中每个Leader中包含了本地节点的数据以及其余节点的元数据，由此可见，所有的节点并不是向同一个主节点上报数据，避免了数据集中在某个节点，导致磁盘容量不足的问题，提高了集群数据采集的能力。

技术领域

本申请涉及系统设计技术领域，特别是涉及一种提高集群数据采集能力的方法、装置及介质。

背景技术

随着信息技术的发展，对数据的需要求量越来越大，对于数据的采集需要从集群中进行采集。

传统的数据采集上报过程是各节点采集自身数据，然后发送到主节点(主节点可以理解为集群管理软件运行的节点)。当外部接口进行查询时，是到主节点进行查询。在集群规模较小时很容易实现该功能。但是随着集群规模越来越大，对集群进行数据采集保存时很可能遇到一种情况：当集群规模较大时(目前管理的个别集群已达到300节点的规模)，上报的数据量非常大，可能超过了管理节点的硬盘容量，限制了集群规模继续扩大，从而大大降低集群数据采集的能力。

由此可见，如何提高集群数据采集的能力，是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种提高集群数据采集能力的方法、装置及介质，用于提高集群数据采集的能力。

为解决上述技术问题，本申请提供一种提高集群数据采集能力的方法，该方法包括：

从多个节点中选取多个Leader，其中所述Leader的个数小于所述节点的个数；

当各所述节点启动时，控制各所述节点从多个所述Leader中选取对应的所述Leader，并向所述Leader上报数据以便在各所述Leader中得到对应的本地节点的数据以及各所述Leader对所述上报数据统计生成元数据；其中，所述元数据为表征实际数据上报的位置信息的数据；

控制各所述Leader交互所述元数据以便在各所述Leader中得到集群中除本地节点之外的剩余所述节点的元数据。

优选地，在所述控制各所述Leader交互所述元数据以便在各所述Leader中得到剩余所述节点的元数据之后，还包括：

当从当前所述Leader中请求数据时，判断请求的所述数据是否在当前所述Leader的所述本地节点上；

若是，则从所述本地节点上获取所述数据；

若否，则根据剩余所述节点的所述元数据获取所述数据。

优选地，所述从多个节点中选取多个Leader包括：

根据集群规模中的节点的个数以及每个所述节点的存储量从多个节点中选取多个所述Leader。

优选地，当各所述节点启动时，控制各所述节点从多个所述Leader中选取对应的所述Leader包括：

当各所述节点启动时，获取集群中的所述Leader的节点的总个数；

控制各所述节点从多个所述Leader中选取所连接节点数目最少的两个所述Leader。

优选地，在向两个所述Leader上报数据之后，还包括：

将所述数据存储到数据库。

优选地，在一个所述Leader宕机的情况下，从剩余所述Leader中获取所述数据。