[发明专利]一种基于kafka的实时监控数据的处理方法

说明书

本发明公开了一种基于kafka的实时监控数据的处理方法，包括：统一监控数据的输入接口，并根据不同业务从监控设备上采集所需的指标数据；从指标数据中解析出所对应的监控设备的类型；根据监控设备的类型给kafka的topic自定义一个ID号，将指标数据保存到该ID号的kafka的topic中；在确定kafka集群中的ID号的topic的指标数据被消费时，通过数据转换组件将该指标数据转换为预设格式数据，并存储至时间序列数据库中，以进行显示界面展示。通过上述方式，本发明能够提高了监控信息的时效性，更能够根据监控的信息做出对应的响应，还能够满足各种实时在线和批量离线处理应用场合对低延迟和批量吞吐性能的要求，同时也方便处理不同监控对象的指标数据区分。

技术领域

本发明涉及互联网技术领域，特别涉及一种基于kafka的实时监控数据的处理方法。

背景技术

现代社会是一个信息高度共享、互联网及移动通信技术飞速发展的时代，各类实时监测、检查与分析设备所采集、产生的数据都有典型的特点：产生频率快，每一个监测点一秒钟内可生产多条数据、严重依赖于采集时间，每一条数据要求对应唯一的时间、测点多信息量大。

随着监控系统的体系扩大，监控点的增多，每个监控点会采集出大量监控信息，也会给监控系统带来信息存储的压力，而传统技术很难满足各种实时在线和批量离线处理应用场合对低延迟和批量吞吐性能的要求，同时也很难去处理不同监控对象的指标数据区分问题。

发明内容

本发明主要解决的技术问题是提供一种基于kafka的实时监控数据的处理方法，能够提高了监控信息的时效性，更能够根据监控的信息做出对应的响应，还能够满足各种实时在线和批量离线处理应用场合对低延迟和批量吞吐性能的要求，同时也方便处理不同监控对象的指标数据区分。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于基于kafka的实时监控数据的处理方法，其特征在于，包括：统一监控数据的输入接口，并根据不同业务从监控设备上采集所需的指标数据；从指标数据中解析出所对应的监控设备的类型；根据监控设备的类型给kafka的topic自定义一个ID号，将指标数据保存到该ID号的kafka的topic中；

在确定kafka集群中的ID号的topic的指标数据被消费时，通过数据转换组件将该指标数据转换为预设格式数据，并存储至时间序列数据库中，以进行显示界面展示。

进一步的，所述根据不同业务从监控设备上采集所需的指标数据的步骤包括：通过下发采集器至指定的监控设备上，并通过采集器采集监控设备中的指标数据。

进一步的，所述根据不同业务从监控设备上采集所需的指标数据的步骤包括：通过所设置的网络端口策略获取第三方所提供的指标数据。

进一步的，该方法还包括：添加数据转换组件，以通过该数据转换组件将该指标数据转换为预设格式数据。

进一步的，所述通过下发采集器至指定的监控设备上，并通过采集器采集监控设备中的指标数据的步骤包括：获取第一监控设备的第一识别码，将第一识别码发送给采集器中，并根据第一识别码将采集器下发至第一监控设备上以进行指标数据的采集；当采集完指标数据之后，将第一识别码从采集器中删除，并获取第二监控设备的第二识别码，且将第二识别码发送给采集器中，根据第二识别码将采集器下发至第二监控设备上以进行指标数据的采集。

进一步的，该方法还包括：把相同类型的设备的指标数据保存至同一ID号的kafka的topic中。

进一步的，所述根据监控设备的类型给kafka的topic自定义一个ID号的步骤包括：根据监控设备的类型为设备分等级及等级号；获取监控设备的识别码以及位置信息；给kafka的topic自定义的ID数据，该ID数据包括topic的唯一ID号、监控设备的识别码、监控设备的等级号和位置信息。