[发明专利]一种准实时用户日志收集和处理方法

说明书

技术领域

本发明属于信息技术领域，具体涉及一种准实时用户日志收集和处理方 法。

背景技术

在系统运行过程中产生日志文件，可以记录系统的运行状况和用户的操 作行为，当系统运行缓慢或者异常退出时，可以通过查看日志文件，快速定 位问题、修复缺陷，使系统恢复正常运行。并且随着互联网技术的发展，用 户日志也成了一个非常重要的信息。

例如，一些大型电子商务网站或者社交网站，可以通过对用户日志的挖 掘，通过用户日志找出用户的潜在访问模式，从而设计出更便于用户访问的 网页组织模式；然而如何在这些海量的日志中挖掘出对企业有用的信息，并 以此作出决策是一项任务庞大而又重要的工作。因为，用户日志是由众多用 户生成的，用户日志具有数据源多样性、海量性、传输条件不确定性等特点。

因此，对用户日志进行分析、存储和管理需要配置很高的硬件和技术， 随着互联网技术的发展，现在技术领域中，分布式存储和计算已经成为一种 流行的用户日志收集和处理方法，但是这种用户日志收集和处理方法即使将 数据分类存储，但是需要存储的数据也是较为庞大，数据量庞大不但对数据 库造成较大的压力，而且读取操作也费时间。

发明内容

为解决上述技术问题，本发明提供了一种准实时用户日志收集和处理方 法，该方法对所有用户日志进行缓冲、暂存再存储，这种延迟存储的方法解 决了数据库的压力。

为达到上述目的，本发明的技术方案如下：

一种准实时用户日志收集和处理方法，其基于由用户日志采集客户端、 用户日志管理服务器和用户日志管理页面组成的系统，包括以下步骤：

步骤一、用户在所述用户日志采集客户端产生一个操作行为，操作行为 触发所述用户日志管理服务器的日志点；

步骤二、用户日志在所述用户日志管理服务器中缓冲，所述用户日志管 理服务器对用户日志进行标记；

步骤三、所述用户日志管理服务器将标记后的用户日志转换成暂存文件， 暂时存储在服务器的暂存盘中；

步骤四、所述用户日志管理服务器中的扫描程序对所述暂存文件进行扫 描；

步骤五、所述用户日志管理服务器对经过扫描后的所述暂存文件进行分 析和筛选，获得有用的数据；

步骤六、所述用户日志管理服务器将筛选后有用的数据存储到数据库中， 将暂时没用的数据存档；

步骤七、所述用户日志管理服务器定时对存档的数据扫描，重复所述步 骤四到步骤六的步骤。

在本发明的一个较佳实施例中，进一步包括，在步骤六中，所述用户日 志管理服务器的存储空间中还存储一些不需要显示在所述用户日志管理页面 中，但是后续分析需要的数据内容。

在本发明的一个较佳实施例中，进一步包括，步骤五中完成对数据的筛 选后间隔8-12s循环进行步骤四。

在本发明的一个较佳实施例中，进一步包括，步骤五中所述筛选程序筛 选方式包括：对用户日志格式的筛选或对业务内容的筛选，其中所述对用户 日志格式的筛选包括：对应不同的应用、不同业务内容对应的不同格式。

在本发明的一个较佳实施例中，进一步包括，步骤二中对用户日志进行 标记，后续具有相同标记的用户日志则无需存储在数据库中。

本发明的有益效果是:

本发明的用户日志收集和处理方法，将获得的用户日志分析、缓存、筛 选后再进行存储，能够更有效合理的利用存储空间，减小了数据库的压力。

附图说明

为了更清楚地说明本发明实施例技术中的技术方案，下面将对实施例技 术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图 仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造 性劳动的前提下，还可以根据这些附图获得其他的附图。

图1本发明的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例