[发明专利]日志系统以及日志数据的收集方法和收集装置

说明书

本申请公开了日志系统以及日志数据的收集方法和收集装置。基于本申请，从各日志源监听到的日志数据都可以被即时推送至指定的数据管道，而无需请求应答的交互过程；并且，被推送至各数据管道的日志数据无需额外的中转暂存和整理，即可直接通过各数据管道入仓至具有匹配日志类型的日志主题，由此，可以实现基于多管道的并发日志数据即时收集和无中转入仓，从而，有助于提升日志数据的入库时效性。而且，基于多管道的并发日志数据可以被彼此独立地执行与日志类型相适配的过滤转化，因而有助于简化用于日志数据过滤转化的逻辑设计。

技术领域

本申请涉及大数据分析领域，尤其涉及一种日志系统、一种日志数据的收集方法、一种日志数据的入库装置、一种非瞬时计算机可读存储介质、一种用于收集日志数据的服务器和一种服务器系统。

背景技术

日志数据常用于大数据分析，通过对日志数据的大数据分析，可以挖掘出各类关注事件。

其中，对于日志数据的获取可以采用请求应答的方式，即，向日志源发送日志采集请求，待日志源通过查找日志目录获取到请求的日志数据后方可返回日志数据；并且，返回的日志数据需要经过额外的中转暂存和整理后，方可按照相应的日志主题入库。

由此可见，日志数据的获取存在请求应答的交互过程、并且需要额外的中转环节，由此导致日志数据的入库实效性不高。

发明内容

本申请的各实施例提供了一种日志系统以及日志数据的收集方法和收集装置，有助于提高日志数据的入库时效性。

在一个实施例中，一种日志系统，包括：

采集节点，用于将从至少两个日志源监听到的日志数据，分别向收集节点维护的数据管道实时推送，其中，从任意一个日志源监听到的日志数据被推送的数据管道，是在收集节点维护的至少两条数据管道中为该日志源指定的数据管道；

收集节点，用于将被推送至各条数据管道的日志数据，分别向各数据管道指向的日志主题入仓，其中，为任意一个日志源指定的数据管道所指向的日志主题，与该日志源产生的日志数据的日志类型相匹配，并且，日志主题被配置为部署在数据库中的数仓。

可选地，采集节点包括至少两个采集器，每个采集器监听为其指定的一个日志源产生的日志数据；收集节点进一步利用分别为每个采集器独立配置的单管道配置文件，创建供各采集器推送日志数据的数据管道，并且，供各采集器推送日志数据的数据管道之间彼此隔离。

可选地，收集节点进一步利用对单管道配置文件的分组识别，对从采集器推送入数据管道的日志数据的入仓操作实施分组的调度控制；和/或，

收集节点进一步监听各条数据管道的管道状态，其中，若任意一条数据管道向其指向的日志主题的入仓存在困阻，则，对该数据管道执行单管道输出关闭；和/或，

采集节点进一步用于在推送的日志数据中携带主题标签，其中，从任意一个日志源监听到的日志数据所携带的主题标签，表示与该日志源产生的日志数据的日志类型相匹配的日志主题；收集节点进一步用于对被推入至各条数据管道的日志数据，执行与日志数据所属的日志类型相适配的过滤转化，其中，日志数据所属的日志类型，是利用该日志数据携带的主题标签所表示的日志主题确定的。

在另一个实施例中，一种日志数据的收集方法包括：

获取被实时推送至各条数据管道的日志数据，其中，日志数据是从日志源监听得到的，并且，从任意一个日志源监听到的日志数据被推送的数据管道，是在至少两条数据管道中为该日志源指定的数据管道；

将被实时推送至各条数据管道的日志数据，分别向各数据管道指向的日志主题入仓，其中，为任意一个日志源指定的数据管道所指向的日志主题，与该日志源产生的日志数据的日志类型相匹配，并且，日志主题被配置为部署在数据库中的数仓。