[发明专利]日志处理方法、装置、电子设备及计算机可读存储介质

权利要求书

1.一种日志处理方法，其特征在于，包括：

实时获取用户的日志流数据；

基于Flink计算引擎对所述日志流数据执行计算流程，并将得到的计算结果输出；其中，所述计算流程包括实时计算流程、近线计算流程和离线计算流程。

2.根据权利要求1所述的方法，其特征在于，所述基于Flink计算引擎对所述日志流数据执行实时计算流程，并将计算结果输出的步骤，包括：

将所述日志流数据划分成多个批次；

基于Flink计算引擎对每个批次的所述日志流数据分别进行计算，并将实时计算结果输出。

3.根据权利要求1所述的方法，其特征在于，所述基于Flink计算引擎对所述日志流数据执行近线计算流程，并将计算结果输出的步骤，包括：

基于Flink计算引擎实时对所述日志流数据进行解析，并将解析后的日志流数据保存到KUDU数据库中；

基于Spark计算引擎对所述KUDU数据库中的日志流数据进行计算，并将近线计算结果输出。

4.根据权利要求3所述的方法，其特征在于，所述基于Flink计算引擎实时对所述日志流数据进行解析，并将解析后的日志流数据保存到KUDU数据库中的步骤，包括：

去除所述日志流数据中的垃圾数据；

基于Flink计算引擎将去除垃圾数据后的所述日志流数据解析成标准格式，得到解析后的日志流数据；

将所述解析后的日志流数据保存到KUDU数据库中。

5.根据权利要求1所述的方法，其特征在于，所述基于Flink计算引擎对所述日志流数据执行离线计算流程，并将计算结果输出的步骤，包括：

基于Flink计算引擎实时对所述日志流数据进行解析，并将解析后的日志流数据保存到HDFS中；

通过hive将所述解析后的日志流数据映射成数据表；

基于Spark计算引擎和/或MapReduce计算引擎对所述数据表中的数据进行计算，并将离线计算结果输出。

6.根据权利要求1所述的方法，其特征在于，所述实时获取用户的日志流数据的步骤，包括：

通过kafka平台实时获取用户的日志流数据。

7.一种日志处理装置，其特征在于，包括：

数据获取模块，用于实时获取用户的日志流数据；

计算模块，用于基于Flink计算引擎对所述日志流数据执行计算流程，并将得到的计算结果输出；其中，所述计算流程包括实时计算流程、近线计算流程和离线计算流程。

8.根据权利要求7所述的日志处理装置，其特征在于，所述计算模块还用于基于Flink计算引擎实时对所述日志流数据进行解析，并将解析后的日志流数据保存到KUDU数据库中；

基于Spark计算引擎对所述KUDU数据库中的日志流数据进行计算，并将近线计算结果输出。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至6任一项所述的方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至6任一项所述的方法的步骤。