[发明专利]一种本地日志的处理方法、装置、设备及存储介质

说明书

本发明公开了一种本地日志的处理方法、装置、设备及存储介质，包括：在检测到设备生成本地日志时，确定本地日志的日志数据量；根据日志数据量、在设备的Linux内核中确定与本地日志匹配的目标写入队伍，以及与目标写入队伍匹配的目标写入位置；调用内存映射函数，在目标写入队伍的目标写入位置处，写入本地日志。本发明实施例的技术方案可以实现对日志的持久化处理，提升日志的写入性能，减少开发成本。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种本地日志的处理方法、装置、设备及存储介质。

背景技术

服务器在运行过程中会产生大量的日志数据(例如业务数据以及系统数据)，并将产生的日志数据存储至数据库或者外部网络系统中。但是，由于日志数据量较大，服务器将日志数据写入数据库的速度较慢，数据库写入性能较低；如果存储到外部网络系统，也会受到网络带宽限制，写入性能较差。

现有方法中为了解决存储性能较低的问题，通常将日志数据记录到本地内存。但是，这种方法持久性较差，服务器一旦重启，内存中还没及时存储的数据就容易丢失。为了解决持久性差的问题，现有方法中还可以将日志数据记录到本地文件系统或者外部队列系统，例如高吞吐量的分布式发布订阅消息系统KAFKA，以及消息队列RabbitMq。

但是，文件系统在压力大的情况下依旧会产生很大的系统开销，对文件系统的读写操作执行了频繁的系统调用，导致读写过程速度较慢，数据写入性能较低。将日志数据记录到外部队列系统中时，需要部署集群模式来保证数据不丢失。例如，将日志数据记录到KAFKA时，至少需要部署3台服务器，RabbitMq至少需要2台服务器做主备，其次，将日志数据记录到外部队列系统中时，日志数据会通过网络传输，也会受到网络带宽限制，这种方法写入性能较差，成本较高。

发明内容

本发明实施例提供一种本地日志的处理方法、装置、设备及存储介质，可以实现对日志的持久化处理，提升日志的写入性能。

第一方面，本发明实施例提供了一种本地日志的处理方法，所述方法包括：

在检测到设备生成本地日志时，确定所述本地日志的日志数据量；

根据所述日志数据量、在所述设备的Linux内核中确定与所述本地日志匹配的目标写入队伍，以及与所述目标写入队伍匹配的目标写入位置；

调用内存映射函数，在所述目标写入队伍的所述目标写入位置处，写入所述本地日志。

第二方面，本发明实施例还提供了一种本地日志的处理装置，该装置包括：

日志数据量确定模块，用于在检测到设备生成本地日志时，确定所述本地日志的日志数据量；

目标写入队伍确定模块，用于根据所述日志数据量、在所述设备的Linux内核中确定与所述本地日志匹配的目标写入队伍，以及与所述目标写入队伍匹配的目标写入位置；

本地日志写入模块，用于调用内存映射函数，在所述目标写入队伍的所述目标写入位置处，写入所述本地日志。

第三方面，本发明实施例还提供了一种计算机设备，该计算机设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例提供的一种本地日志的处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的一种本地日志的处理方法。