[发明专利]日志处理方法、装置、电子设备及计算机可读存储介质

说明书

本发明提供了一种日志处理方法、装置、电子设备及计算机可读存储介质，包括实时获取用户的日志流数据；基于Flink计算引擎对日志流数据执行计算流程，并将得到的计算结果输出；其中，计算流程包括实时计算流程、近线计算流程和离线计算流程。本发明可以提高代码重用度，降低资源使用率，满足大数据量计算的同时保证计算的实时性。

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种日志处理方法、装置、电子设备及计算机可读存储介质。

背景技术

随着目前网络环境中关键信息资源的威胁数量和类型的急剧上升，如何及时对网络攻击行为做出主动反应，是网络安全领域近年来的研究热点。通过分析日志数据对网络安全态势进行评估已得到越来越广泛的认可。现有的数据处理流程满足了实时和离线两种计算需要，但是实时计算和离线计算使用两套处理逻辑，不仅占用资源多，而且代码重用率低；此外，由于实时计算无法支持大数据量，而离线计算实时性差，因此现有的数据处理方法无法满足延迟低，数据量较大的情况。

发明内容

有鉴于此，本发明的目的在于提供一种日志处理方法、装置、电子设备及计算机可读存储介质，以提高了代码重用度，降低资源使用率，满足大数据量计算的同时保证计算的实时性。

第一方面，本发明实施例提供了一种日志处理方法，包括：实时获取用户的日志流数据；基于Flink计算引擎对日志流数据执行计算流程，并将得到的计算结果输出；其中，计算流程包括实时计算流程、近线计算流程和离线计算流程。

在一种实施方式中，基于Flink计算引擎对日志流数据执行实时计算流程，并将计算结果输出的步骤，包括：将日志流数据划分成多个批次；基于Flink计算引擎对每个批次的日志流数据分别进行计算，并将实时计算结果输出。

在一种实施方式中，基于Flink计算引擎对日志流数据执行近线计算流程，并将计算结果输出的步骤，包括：基于Flink计算引擎实时对日志流数据进行解析，并将解析后的日志流数据保存到KUDU数据库中；基于Spark计算引擎对KUDU数据库中的日志流数据进行计算，并将近线计算结果输出。

在一种实施方式中，基于Flink计算引擎实时对日志流数据进行解析，并将解析后的日志流数据保存到KUDU数据库中的步骤，包括：去除日志流数据中的垃圾数据；基于Flink计算引擎将去除垃圾数据后的日志流数据解析成标准格式，得到解析后的日志流数据；将解析后的日志流数据保存到KUDU数据库中。

在一种实施方式中，基于Flink计算引擎对日志流数据执行离线计算流程，并将计算结果输出的步骤，包括：基于Flink计算引擎实时对日志流数据进行解析，并将解析后的日志流数据保存到HDFS中；通过hive将解析后的日志流数据映射成数据表；基于Spark计算引擎和/或MapReduce计算引擎对数据表中的数据进行计算，并将离线计算结果输出。

在一种实施方式中，实时获取用户的日志流数据的步骤，包括：通过kafka平台实时获取用户的日志流数据。

第二方面，本发明实施例提供了一种日志处理装置，包括：数据获取模块，用于实时获取用户的日志流数据；计算模块，用于基于Flink计算引擎对日志流数据执行计算流程，并将得到的计算结果输出；其中，计算流程包括实时计算流程、近线计算流程和离线计算流程。

在一种实施方式中，计算模块还用于基于Flink计算引擎实时对日志流数据进行解析，并将解析后的日志流数据保存到KUDU数据库中；基于Spark计算引擎对KUDU数据库中的日志流数据进行计算，并将近线计算结果输出。

第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面提供的任一项的方法的步骤。