[发明专利]基于动态感知的日志数据分析方法、装置及可读存储介质

说明书

本发明涉及一种基于动态感知的日志数据分析方法、装置及可读存储介质，其中的方法包括：对用户输入的查询语句进行解析并得到若干小查询，所述查询语句包括预设的若干指令和/或函数的组合；对各所述小查询进行并行检索，并使各所述小查询的并行检索过程形成流式命令；根据所述流式命令对各所述小查询进行并行分析；对并行分析结果进行聚合，生成故障分析报表。本发明的有益效果为：内置指令及函数，各指令和函数能够灵活地组合和嵌套，用户在查询时根据需要用的查询语句灵活运用抽象出的指令及函数，能够向任何用户包括无编程基础的用户提供解决日志故障时的解决思路，实现方便易用、快速提供问题的解决思路以及灵活利用解决思路解决问题的效果。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种基于动态感知的日志数据分析方法、装置及可读存储介质。

背景技术

日志数据是故障排除、监控、安全、合规、电子取证等许多企业应用的基础。同时，它们具有巨大的分析价值，随着大数据时代的来临，数据产生速度加快、数据体量巨大，单凭人力无法跟上机器产生数据的速度。日志数据中的大多数内容也并不能交由人工直接识别。随着日志容量和类型的增长，日志数据超出了人类的认知能力，对日志内容进行分析并追踪潜在的问题越来越困难。业界通用的日志处理系统采用Hadoop分布式方案，需要使用者编写复杂的MapReduce程序，甚至多个MapReduce程序才能处理一次数据分析需求。

使用者需要编写复杂的MapReduce程序，甚至多个MapReduce程序才能处理一次数据分析需求。而日志数据分析通常初始目标并不明确，需要通过多次试错才能定型，传统方法的时间成本和用户的学习成本过高。

发明内容

为了克服相关技术中存在的问题，本发明提供一种基于动态感知的日志数据分析方法、装置及可读存储介质，以实现通过抽象出的多个常见指令和函数的日志数据分析思路对日志数据进行统计分析。

第一方面，本发明实施例提供了一种基于动态感知的日志数据分析方法，所述方法包括：

对用户输入的查询语句进行解析并得到若干小查询，所述查询语句包括预设的若干指令和/或函数的组合；

对各所述小查询进行并行检索，并使各所述小查询的并行检索过程形成流式命令；

根据所述流式命令对各所述小查询进行并行分析；

对并行分析结果进行聚合，生成故障分析报表。

结合另一方面，在本发明的另一种可行的实施方式中，根据所述流式命令对各所述小查询进行并行分析时，包括：

获取所述流式命令中每一所述小查询对应的指令和/或函数的类型；

根据所述类型判断所述对所述流式命令并行分析时输出非流式子命令和/或流式子命令；

对每一所述非流式子命令和/或所述流式子命令进行并行分析。

结合另一方面，本发明另一可实行实施方式中，所述方法还包括：

获取用户输入的若干查询语句；

通过管道符对所述若干查询语句进行组合和嵌套，其中，所述管道符为一个或两个及以上。

结合另一方面，本发明另一可实行实施方式中，所述根据所述流式命令对各所述小查询进行并行分析时还包括：

对每一所述管道符一侧的查询语句进行分析并得到第一执行结果；

将所述第一执行结果作为所述管道符另一侧的查询语句的起始数据输入，并对所述管道符另一侧的查询语句进行分析并得到第二执行结果；

在对所述流式命令进行处理的过程中，每一个所述查询语句中的各小查询并行分析时，展示包括第一执行结果和第二执行结果的临时结果。