[发明专利]基于大数据分析的清理规则获取方法及系统

说明书

本发明公开了一种基于大数据分析的清理规则获取方法及系统，其中，方法包括：对大数据进行收集，得到清理日志文件；对清理日志文件进行分析处理，得到与系统性能相关联的清理目标结果；根据清理目标结果对清理规则进行更新，将更新后的清理规则下发给清理引擎以及清理客户端，以便清理引擎以及清理客户端依据更新后的清理规则清理存储空间。采用本发明的方案，一方面，能够通过对清理日志大数据进行分析，根据分析结果智能地更新清理规则，另一方面，通过对清理日志进行大数据分析，生成能够使系统性能达到最优的清理规则，从而提升清理的准确性和清理的效果。

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于大数据分析的清理规则获取方法及系统。

背景技术

随着互联网技术的飞速发展，越来越多的应用被开发出来，例如，订餐应用、旅游应用、支付应用、购物应用、音视频应用以及订餐应用等等，涉及人们生活的方方面面，为人们提供了极大的便利。然而，安装在终端上的应用越多，占用的存储空间就越大，对系统造成的负担就越来越重。为了解决存储空间问题，清理引擎和清理客户端应运而生，在终端上安装清理引擎或者清理客户端，利用清理引擎或者清理客户端就可以方便快捷地完成存储空间的清理。

但是，发明人在实现本发明的过程中发现：现有技术中，清理引擎或者清理客户端往往是采用统一的清理规则，清理规则规定了清理哪些对象、哪些目录、清理空间的占比等等，但这种采用统一的清理规则进行清理的方式的灵活性较差，清理效果往往不能达到最优，并且也无法实现智能化清理。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于大数据分析的清理规则获取方法及系统。

根据本发明的一个方面，提供了一种基于大数据分析的清理规则获取方法，包括：

对大数据进行收集，得到清理日志文件；

对清理日志文件进行分析处理，得到与系统性能相关联的清理目标结果；

根据清理目标结果对清理规则进行更新，将更新后的清理规则下发给清理引擎以及清理客户端，以便清理引擎以及清理客户端依据更新后的清理规则清理存储空间。

可选地，与系统性能相关联的清理目标结果具体包括：目标清理空间占比信息和/或目标清理文件信息和/或目标清理目录信息。

可选地，根据清理目标结果对清理规则进行更新，将更新后的清理规则下发给清理引擎以及清理客户端具体包括：

将清理目标结果发送给清理运营平台，以便清理运营平台根据预制的清理规则模板和清理目标结果完成清理规则的更新处理，并将更新后的清理规则下发给清理引擎以及清理客户端。

可选地，对清理日志文件进行分析处理进一步包括：

对清理日志文件进行切字段处理，得到各个日志字段，针对于各个日志字段进行分析处理。

可选地，对清理日志文件进行分析处理，得到与系统性能相关联的清理目标结果进一步包括：

对清理日志文件进行统计，得到日志统计结果；日志统计结果包括：清理日志文件对应的终端类型信息和/或清理文件信息和/或清理目录信息；

根据日志统计结果，得到与系统性能相关联的清理目标结果；

其中，终端类型信息依据终端的操作系统信息和/或系统版本信息和/或厂商信息确定。

可选地，方法基于ELK集群实现；则方法进一步包括：将日志统计结果进行展现。

可选地，对大数据进行收集，得到清理日志文件具体包括：

监听Hive服务器处理得到的清理日志文件；其中，Hive服务器从HDFS服务器中拉取原始清理日志文件进行处理。