[发明专利]一种数据处理方法和装置

说明书

本发明公开了数据处理方法和装置，涉及大数据技术领域，一具体实施方式包括接收应用系统产生的运维数据，获取所述运维数据的类型和目标字段，进而匹配预设的报障规则，以基于对应的报障规则创建流式计算任务；调用SQL引擎，解析并开启流式计算任务，进而通过对应的报障规则对运维数据进行计算，以得到实时报障检测信息，并报送给报障平台。从而，本发明实施方式能够提供统一、实时、高效分布式流计算的故障报送渠道。

技术领域

本发明涉及大数据技术领域，尤其涉及数据分析与挖掘技术领域，提出一种数据处理方法和装置。

背景技术

随着业务领域的拓展，运维系统其应用、系统组件越来越多，也越来越繁杂。当某系统组件或应用发生故障时，可能会导致客户体验效果变低，业务受损，因此对系统设置了报障操作，其中报障是指在日常运维中，针对问题或故障，向技术人员、业务专家或上级单位进行反应或咨询，以寻求解决方案的一种方法。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

目前，运维系统增加实时检测采集，经过独立的实时计算分析，再对接报障渠道，例如采用Spark Streaming以及ITSM(IT Service Management，IT服务管理)技术。

但是，Spark Streaming每次接收到一个时间间隔的数据才会去处理计算，即需等待，因此很难在实时性上有所提升，延迟性只能做到秒级别。而ITSM以流程为中心，其各个流程之间都是规范化、标准化执行的，也就是说ITSM是一个重流程的服务模式，这就导致一些轻量级的报障信息，需要长时间的人员流转才能解决，不仅浪费了资源，也浪费了解决时间，另外对于一些实时性要求很强的报障，还有可能导致问题处理失败，给业务造成损失。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法和装置，提供统一、实时、高效分布式流计算的故障报送渠道。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法，包括接收应用系统产生的运维数据，获取所述运维数据的类型和目标字段，进而匹配预设的报障规则，以基于对应的报障规则创建流式计算任务；调用SQL引擎，解析并开启流式计算任务，进而通过对应的报障规则对运维数据进行计算，以得到实时报障检测信息，并报送给报障平台。

可选地，所述运维数据的类型包括监控信息、工单信息、告警信息和操作信息。

可选地，接收应用系统产生的运维数据，包括：

接收应用系统产生的运维数据，识别运维数据的类型；

调用相应的转化模型，将所述运维数据进行处理，以得到标准化的运维数据。

可选地，匹配预设的报障规则，包括：

根据运维数据的类型和目标字段，判断是否存在对应的报障规则；

若是则提取对应的报障规则，若否则基于所述运维数据的类型和目标字段创建报障规则。

可选地，解析并开启流式计算任务之后，包括：

将流式计算任务运行在统一的资源调度YARN上，记录流式计算任务运行状态和日志。

可选地，通过对应的报障规则对运维数据进行计算，包括：

在Flink web平台上创建源表和目标表，将报障规则和运维数据进行映射且存储至源表；

对源表中的映射数据进行关联查询计算，以得到实时报障信息并写入目标表。

可选地，获取实时报障检测信息进行封装，通过REST API报送给报障平台。