[发明专利]一种日志数据采集方法、装置及计算机可读存储介质

说明书

本发明公开了一种日志数据采集方法，包括：依次读取源日志文件中的每预设单位的日志数据到预设内存区；将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与所述当前读取的预设单位的日志数据匹配的目标采集规则；将当前读取到的预设单位的日志数据添加至所述目标采集规则对应的预设缓冲区。可见，即便源日志文件中有多种类型的日志数据，读取一次源日志文件也能够将所有类型的日志数据完成分类，在获取不同类型的日志数据时，即可从对应的缓冲区中进行读取，避免多次从磁盘中读取源日志文件，从而避免对磁盘性能的消耗。本申请还提供一种日志数据采集系统、装置及计算机可读存储介质，同样可以实现上述技术效果。

技术领域

本发明涉及日志收集领域，尤其涉及一种日志数据采集方法、装置、系统及计算机可读存储介质。

背景技术

随着各种互联网业务的发展，日志收集需求愈加旺盛。网络设备、系统及服务程序等，在运作时都会产生一个叫log的事件记录，即日志。每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。

一个日志文件中通常会有多种不同类型的数据，在日志收集时，不同的收集条件下，需要采集不同的日志数据，此时就需要对同一个日志文件反复地读取多次，每次读取后采集其中与本次收集条件对应的日志数据。然而，反复读取日志文件会增加对硬件磁盘的性能消耗，使业务系统对磁盘的硬件要求越来越高。

因此，如何在日志数据采集过程中避免反复多次读取同一日志文件，是本领域技术人员亟待解决的问题。

发明内容

本发明的主要目的在于提供一种日志数据采集方法、装置、系统及计算机可读存储介质，以在日志数据采集过程中避免反复多次读取同一日志文件。

为实现上述目的，本发明提供的一种日志数据采集方法，包括：

一种日志数据采集方法，包括：

依次读取源日志文件中的每预设单位的日志数据到预设内存区；

将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与所述当前读取的预设单位的日志数据匹配的目标采集规则；

将当前读取到的预设单位的日志数据添加至所述目标采集规则对应的预设缓冲区。

可选地，所述将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与所述当前读取的预设单位的日志数据匹配的目标采集规则，包括：

将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与当前读取到的预设单位的日志数据相匹配，且关键字与当前读取到的预设单位的日志数据相同的目标采集规则。

可选地，所述将当前读取到的预设单位的日志数据添加至所述目标采集规则对应的预设缓冲区之后，还包括：

在所述预设内存区中删除当前读取到的预设单位的日志数据。

可选地，所述方法还包括：

将所述预设缓冲区中的日志数据发送至日志数据接收方。

可选地，所述将所述预设缓冲区中的日志数据发送至日志数据接收方，包括：

检测所有预设缓冲区的日志数据大小是否超出预设阈值；

若是，则将所有预设缓冲区中的日志数据发送至日志数据接收方。

可选地，所述将所述预设缓冲区中的日志数据发送至日志数据接收方，包括：

检测当前时间是否到达预设发送时间；

若是，则将所有预设缓冲区中的日志数据发送至日志数据接收方。

可选地，所述将所述预设缓冲区中的日志数据发送至日志数据接收方，包括：