[发明专利]日志优化方法、装置、设备及可读存储介质

说明书

本发明涉及数据处理技术领域，公开了一种日志优化方法、装置、设备及存储介质，该日志优化方法通过提取日志文件集中每条日志的属性特征和属性值，对其进行归类，得到属性集合，构建树状图，然后选取目标属性特征，根据预设的抽象摘要算法对目标属性特征下的属性值进行抽象处理，获得该日志文件集的关键摘要，并以所述关键摘要代替当前系统所存储的所述日志文件集合，最后分析关键摘要可以提高异常诊断的效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种日志优化方法、装置、设备及可读存储介质。

背景技术

日志文件是当前用于记录了系统运行情况和系统的操作事件的主要方式之一。例如，用户操作、系统运行状态和异常信息等，基于日志文件中的记录，可以有效地为开发者提供技术上的运行保障和改进依据。

然而，随着互联网技术和网络环境的不断发展，越来越多的终端接入互联网，因此绝大部分的网络服务系统都需要24小时无间断地运行，且系统在运行的过程中会生成大量的数据，其中，包括系统在运行过程中所生成的大量日志文件。由于日志文件的数量过大，不同日志文件之间会互相包含和影响，再加上日志文件中包含了很多无关的内容。

对此，当系统出现异常情况时，技术人员需要通过查阅日志文件中的记录来确定异常，而在目前的日志文件查阅分析过程中，主要通过人工查找的方式来逐一对日志文件中的异常日志进行筛选，而在完成大量的日志文件中异常的排查，则需要安排较多的人员和需要投入大量的时间和精力才能保证排查的效率，并且该种方式还是逐一排查的，可见其效率和是实现步骤的繁琐，更加无法满足人们日益增长的高效化、便捷化的日志文件的异常诊断需求，而且如果无法检测出异常问题所在，也将会造成巨大的经济损失。

发明内容

本发明的主要目的在于提供一种日志优化方法、装置、设备及可读存储介质，旨在解决由于日志文件数量的巨增，而导致日志的异常排查效率低的技术问题。

本发明第一方面提供了一种日志优化方法，所述日志优化方法包括：

根据日志优化请求，从日志数据库中获取当前系统在运行过程中所产生的所有日志文件，形成日志文件集合，其中，所述日志文件集合包括：当前系统的历史日志文件和当前系统在当前时刻产生的实时日志文件；

依次提取所述日志文件集合中每条日志文件的属性特征，以及所述属性特征对应的属性值，并对所述属性特征进行分类处理，得到至少一个第一属性集合，其中，所述第一属性集合包括至少一个第一属性值子集，每个第一属性值子集对应一类属性特征；

根据预设的抽象摘要算法，分别对所述第一属性值子集中的属性值进行抽象处理，生成对应的第二属性子集；

将抽象处理得到的所有第二属性子集进行合并，得到第二属性集合，并根据所述第二属性集合输出所述日志文件集合的关键摘要，并以所述关键摘要代替当前系统所存储的所述日志文件集合。

可选的，在本发明第一方面的第一种实现方式中，所述依次提取所述日志文件集合中每条日志文件的属性特征，以及所述属性特征对应的属性值，并对所述属性特征进行分类处理，得到至少一个第一属性集合包括：

根据特征提取算法，对所述日志文件集合中的日志文件逐一进行属性特征的提取，得到属性特征集合；

根据所述属性特征集合中的每个属性特征进行属性值的提取，形成数值集合，其中，所述数值集合为包含所述属性值与所述属性特征之间的对应关系的集合；

根据所述数值集合对所述属性特征集合中的属性特征进行分类处理，并基于预设的属性树状图构建原理将分类后的属性特征生成树形结构图，得到所述第一属性集合，其中所述属性结构图包括祖先节点和子节点，每个祖先节对应一个属性特征的类别，每个子节点对应一个属性特征。

可选的，在本发明第一方面的第二种实现方式中，所述根据所述数值集合对所述属性特征集合中的属性特征进行分类处理，得到所述第一属性集合包括：