[发明专利]用于IT运维平台的高效采集系统

说明书

技术领域

本发明涉及IT运维领域，尤其涉及一种用于IT运维系统的高效采集子系统。

背景技术

在IT运维领域，IT运维系统为保障整个系统的正常运行，需要实时了解系统中各个设备的运行情况，由此产生了大量的设备运行情况采集任务，运行数据采集的及时有效对于IT运维系统的准确运作至关重要，在现有技术中，采集功能模块直接嵌入在IT运维系统中，且采集方法简陋、直白，缺乏对采集任务本身的分析，采用简单队列方式排次处理，不仅会导致重要采集任务的延迟，而且无法对采集任务进行处理操作，尤其当采集任务超负荷的时候，不能灵活的调度任务队列，致使运维系统失效；缺乏独立的任务调度机制设计，不仅调度水平低下，而且调度机制的修改困难；同时，由于没有对采集系统采用模块化设计，导致系统扩容和升级困难。

发明内容

本发明的目的在于提供了一种用于IT运维平台的高效采集系统，将采集任务从运维平台中剥离出来，设计独立的采集系统，以便于引入对采集任务本身的评级、分析步骤，从而可以对任务进行分类、评级、排序，并引入基于任务分析进行专门的调度作业，从而提高了采集工作的灵活性和智能化，不仅提高了采集效率，而且提高了采集任务的质量和对运维目标的适应性，还将任务调度与作业活动从任务队列和评级活动中分离开来，提高了采集系统容量配置的灵活性。

本发明的目的通过如下方案实现，用于IT运维平台的高效采集系统，包含有数据采集设备，其特征在于，该系统还包含有采集任务队列、优先级运算器、任务调度器、备用调度器、未调度任务缓存，数据采集设备包含有采集机、备用采集机，优先级运算器、任务调度器、备用调度器、未调度任务缓存与采集任务队列连接，采集机与任务调度器连接，备用采集机与备用调度器连接，任务调度器、未调度任务缓存与备用调度器连接。

采集任务队列：负责接受并存储提交的采集任务，并且可将这些采集任务按照一定的规则分配到各个子队列中，等待任务调度器或者备用调度器的调度。采集任务队列为一系列子队列集合，每个子队列都有自己的优先级，通过这些队列缓存提交的采集任务。

优先级运算器：当外部提交的采集任务提交到采集队列中时，采集队列会通知优先级运算器，优先级运算器届时会根据预设的优先级运算规则，以及以及当前采集任务队列中未调度任务的状态、采集任务的属性、指标，如：采集任务提交时间、预计完成时间、已等待时间等，动态计算每个任务的调度优先级，并且能够更新队列中各个任务的优先级、将其移动到采集队列的相应位置。

任务调度器：当采集队列中的任务不为空的时候，也可以是采集队列通知任务调度器，询问是否有空闲的采集机资源，任务调度器通过其管理的采集机上报的采集状态，判断是否有可用的采集机资源，如果有，任务调度器从采集队列中优先级最高的位置获取一个采集任务，并且将这个采集任务分配给空闲中得采集机，还具有从采集队列中获取采集任务的能力，任务调度器具有根据任务队列中各个任务的优先级，获取相应的任务，并将它们根据各个采集机的状态均衡的分发给各个采集机，并且具备记录其所管理的采集机的状态信息，在采集机处于饱和状态的时候通知备用调度器进行调度的能力。

备用调度器：当采集队列中的采集任务不为空，任务调度器所管理的采集机处于满负荷调度状态时，任务调度器通知备用调度器，备用调度器则启动，检查采集队列中是否具有已到达最迟采集时间的采集任务，这样可进一步提高紧急任务处理的及时性，如果具有这样的采集任务，备用调度器从采集队列中获取所有的这样的采集任务，并且将这些任务分配给备用采集机，如果获取的采集任务不能分配完毕，则将未分配的任务放入到未调度任务缓存中。

采集机和备用采集机：当收到任务调度器、备用调度器分配的采集任务后，会根据任务的采集流程，采集信息，并且在采集任务结束后，向任务调度器或者备用调度器上报自身的状态。

未调度任务缓存：根据预设的规则、策略的需要，未调度任务缓存中的任务可以重新放入到采集队列中，或者重新由备用采集机选择，并且将其分配给备用采集机，或者直接丢弃。

更进一步的，所述采集任务队列通过采集任务队列服务器实现、优先级运算器通过优先级运算服务器实现、任务调度器通过任务调度服务器实现、备用调度器通过备用调度服务器实现、未调度任务缓存安排在备用调度服务器上，优先级运算服务器、任务调度服务器、备用调度服务器与采集任务队列服务器连接，采集机与任务调度服务器连接，备用采集机与备用调度服务器连接，任务调度服务器还与备用调度服务器连接。