[发明专利]一种云环境下的多源日志数据处理系统及方法

说明书

本发明涉及一种云环境下的多源日志数据处理系统及方法。本发明系统的日志源输入模块提供多源日志接入的功能；数据预处理模块提供数据分类功能；数据处理模块提供日志处理插件管理功能；数据存储模块提供后端数据存储管理功能。本发明对文本日志数据流通过二维向量<ip,path>进行标签化处理；编辑plugin_playbook.yml文件，定义日志数据流处理链路，确定日志在不同plugin之间的处理顺序；扫描并加载plugins目录下所有插件；解析plugin_playbook.yml文件，构造完整的数据流解析链路，原始日志文件根据链路标识，按序逐步流传到不同的插件处理。本发明解决了多源日志处理高度耦合、扩展性不足等问题；可用于多源日志数据处理。

技术领域

本发明涉及日志数据处理技术领域，特别涉及一种云环境下的多源日志数据处理系统及方法。

背景技术

随着目前各种分布式技术迅猛发展及丰富的开源分布式框架的成熟，传统的大型单体程序逐渐解构，朝面向服务的体系结构(service-oriented architecture，SOA)转变。其中，微服务架构就是其中的典型代表。但是这种架构会存在一个显著的问题，由于各服务组件均是分布式部署，当系统出现异常时，对异常日志的排查的工作量将会非常繁重。因此，面对这种多源、异构的日志数据对其二次解析、结构化存储，以支持后期运维工作是非常有必要的。因而，需要一个统一、专用的平台完成上述日志管理工作；但现有日志平台存在以下几个方面的问题：

一、日志平台资源限制

目前的日志分析平台是计算密集型、网络密集型、存储密集型的综合体，因此平台对硬件资源的需求非常高，这也造成了成本高涨。

二、日志平台中各功能模块高度耦合

日志采集模块、日志处理模块、存储模块等模块之间高度耦合，不利于产品的升级迭代。

三、日志解析功能扩展性不足

日志平台中各模块之间的高度耦合，导致每个平台都针对具体语言环境，无形中提高了产品的产品代码的熟悉难度；且日志解析功能之间的杂糅，导致功能固定不易扩展或缩减功能、功能重用，进而提高了整个产品框架的升级、产品迭代成本，产品的健壮性、扩展性差。

发明内容

本发明解决的技术问题在于提供一种云环境下的多源日志数据处理系统及方法；实现多源日志数据二次处理，并避免高度耦合、扩展性不足等问题。

本发明解决上述技术问题的技术方案是：

所述的系统包括日志源输入模块、数据预处理模块、数据处理模块和数据存储模块；所述日志源输入模块提供多源日志接入的功能；数据预处理模块提供数据分类功能；数据处理模块提供灵活的日志处理插件的管理功能；数据存储模块提供后端数据存储管理功能。

所述日志源接入模块将不同来源的原始、异构文本格式日志统一接入日志数据流处理平台。

所述数据预处理模块对不同来源的日志在日志接收端统一、集中管理并特征标识tag；所述tag用二维向量<ip，path>表示；所述ip为网络连接默认参数，所述path为日志通用参数。

所述数据处理模块对日志数据进行二次处理，通过管理的日志处理插件实现；包括多语言插件模块、特定功能插件模块、插件管理模块；

多语言插件模块提供一个通用的核心插件库，提供Java、Python、Ruby、Go等多种语言版本的插件API，实现跨语言的通用插件平台；

插件管理模块将插件代码复制到工程目录plugins下，系统通过定时扫描plugins目录实现动态加载插件，包括插件加载、卸载、异常管理和行为管理；插件加载、卸载实现特定功能插件模块的加载或卸载；插件行为管理提供一个plugin_playbook.yml文件统一规划整个数据流的处理流程。