[发明专利]日志系统以及日志数据的收集方法和收集装置

权利要求书

1.一种日志系统，其特征在于，包括：

采集节点，用于将从至少两个日志源监听到的日志数据，分别向收集节点维护的数据管道实时推送，其中，从任意一个日志源监听到的日志数据被推送的数据管道，是在收集节点维护的至少两条数据管道中为该日志源指定的数据管道；

收集节点，用于将被推送至各条数据管道的日志数据，分别向各数据管道指向的日志主题入仓，其中，为任意一个日志源指定的数据管道所指向的日志主题，与该日志源产生的日志数据的日志类型相匹配，并且，日志主题被配置为部署在数据库中的数仓。

2.根据权利要求1所述的日志系统，其特征在于，

采集节点包括至少两个采集器，每个采集器监听为其指定的一个日志源产生的日志数据；

收集节点进一步利用分别为每个采集器独立配置的单管道配置文件，创建供各采集器推送日志数据的数据管道，并且，供各采集器推送日志数据的数据管道之间彼此隔离。

3.根据权利要求2所述的日志系统，其特征在于，

收集节点进一步利用对单管道配置文件的分组识别，对从采集器推送入数据管道的日志数据的入仓操作实施分组的调度控制；和/或，

收集节点进一步监听各条数据管道的管道状态，其中，若任意一条数据管道向其指向的日志主题的入仓存在困阻，则，对该数据管道执行单管道输出关闭；和/或，

采集节点进一步用于在推送的日志数据中携带主题标签，其中，从任意一个日志源监听到的日志数据所携带的主题标签，表示与该日志源产生的日志数据的日志类型相匹配的日志主题；

收集节点进一步用于对被推入至各条数据管道的日志数据，执行与日志数据所属的日志类型相适配的过滤转化，其中，日志数据所属的日志类型，是利用该日志数据携带的主题标签所表示的日志主题确定的。

4.一种日志数据的收集方法，其特征在于，包括：

获取被实时推送至各条数据管道的日志数据，其中，日志数据是从日志源监听得到的，并且，从任意一个日志源监听到的日志数据被推送的数据管道，是在至少两条数据管道中为该日志源指定的数据管道；

将被实时推送至各条数据管道的日志数据，分别向各数据管道指向的日志主题入仓，其中，为任意一个日志源指定的数据管道所指向的日志主题，与该日志源产生的日志数据的日志类型相匹配，并且，日志主题被配置为部署在数据库中的数仓。

5.根据权利要求4所述的收集方法，其特征在于，获取被实时推送至各条数据管道的日志数据之前，进一步包括：

利用分别为至少两个采集器独立配置的单管道配置文件，创建供各采集器推送日志数据的数据管道，其中，每个采集器监听为其指定的一个日志源产生的日志数据，并且，供各采集器推送日志数据的数据管道之间彼此隔离。

6.根据权利要求5所述的收集方法，其特征在于，将被实时推送至各条数据管道的日志数据，分别向各数据管道指向的日志主题入仓，包括：

利用对单管道配置文件的分组识别，对从采集器被实时推送入数据管道的日志数据的入仓操作实施分组的调度控制；和/或，

创建供各采集器推送日志数据的数据管道之后，进一步包括：监听各条数据管道的管道状态，其中，若任意一条数据管道向其指向的日志主题的入仓存在困阻，则，对该数据管道执行单管道输出关闭；和/或，

将被实时推送至各条数据管道的日志数据，分别向各数据管道指向的日志主题入仓之前，进一步包括：识别日志数据携带的主题标签，其中，从任意一个日志源监听到的日志数据所携带的主题标签，表示与该日志源产生的日志数据的日志类型相匹配的日志主题；对被实时推入至各条数据管道的日志数据，执行与日志数据所属的日志类型相适配的过滤转化，其中，日志数据所属的日志类型，是利用该日志数据携带的主题标签所表示的日志主题确定的。