[发明专利]日志数据的实时采集方法、装置、电子设备及存储介质

说明书

本公开实施例公开了一种日志数据的实时采集方法、装置、电子设备及存储介质，该方案利用第一并行任务实时获取用户的第一配置信息，根据所述第一配置信息实时采集服务器上的日志数据，并将所述日志数据发送至分布式消息队列，利用第二并行任务实时获取所述用户的第二配置信息，根据所述第二配置信息从所述分布式消息队列中读取所述日志数据，并存储至所述第二配置信息中指定的存储区域。该方案能够基于用户对日志采集任务的动态配置和对用户配置信息的实时并发访问，实现日志数据的实时和动态地采集。

技术领域

本公开涉及计算机技术领域，具体涉及一种日志数据的实时采集方法、装置、电子设备及存储介质。

背景技术

在大数据领域，日志数据的采集一向是重中之重，尤其是如何保证数据的稳定采集、精准采集、动态采集，是每家公司都想攻克的难题。产生日志的服务器有千千万，日志所在的目录各不相同，并且已有的采集任务有可能会修改采集目录或者直接停止采集，原本未采集的目录有可能在某一天增加采集目录，如何动态实时的增加采集目录，并且为下游提供多种的访问途径是多数日志采集系统急需解决的问题。

发明内容

本公开实施例提供一种日志数据的实时采集方法、装置、电子设备及存储介质，用于解决上述问题。

第一方面，本公开实施例提供了一种日志数据的实时采集方法，包括：

利用第一并行任务实时获取用户的第一配置信息；

根据所述第一配置信息实时采集服务器上的日志数据，并将所述日志数据发送至分布式消息队列；

利用第二并行任务实时获取所述用户的第二配置信息，根据所述第二配置信息从所述分布式消息队列中读取所述日志数据，并存储至所述第二配置信息中指定的存储区域。

结合第一方面，在第一方面的第一种实现方式中，所述方法还包括：

利用第三并行任务接收所述用户的配置信息；

根据所述配置信息生成所述第一配置信息和第二配置信息，并将所述第一配置信息和第二配置信息存储在能够多任务并发访问的分布式存储节点上。

结合第一方面或第一方面的第一种实现方式，在第一方面的第二种实现方式中，所述根据所述第一配置信息实时采集服务器上的日志数据，并将所述日志数据发送至分布式消息队列，包括：

根据所述第一配置信息生成多个日志采集任务；

并行执行所述多个日志采集任务，以将采集的日志数据发送给所述分布式消息队列；其中，一个所述日志采集任务采集到的日志数据对应存储到所述分布式消息队列的一个主题中。

结合第一方面、第一方面的第一种或第二种实现方式，在第一方面的第三种实现方式中，所述方法还包括：

利用所述第三并行任务从所述分布式消息队列中获取心跳数据；其中，所述心跳数据为所述第一并行任务和/或第二并行任务定时生成并发送至所述分布式消息队列的预设主题中的；

在预定时间周期内未获取到所述心跳数据时，产生所述第一并行任务和/或第二并行任务异常的警告。

结合第一方面、第一方面的第一种至第三种任一种实现方式，在第一方面的第四种实现方式中，所述方法还包括：

在获取到所述心跳数据后，利用所述第三并行任务检测所述心跳数据，以监控所述第一并行任务和/或第二并行任务的实时性。

在预定时间周期内未获取到所述心跳数据时，产生所述第一并行任务和/或第二并行任务异常的警告。