[发明专利]一种云环境下的多源日志数据处理系统及方法

权利要求书

1.一种云环境下的多源日志数据处理系统，其特征在于：所述的系统包括日志源输入模块、数据预处理模块、数据处理模块和数据存储模块；所述日志源输入模块提供多源日志接入的功能；数据预处理模块提供数据分类功能；数据处理模块提供灵活的日志处理插件的管理功能；数据存储模块提供后端数据存储管理功能。

2.根据权利要求1所述的系统，其特征在于：所述日志源接入模块将不同来源的原始、异构文本格式日志统一接入日志数据流处理平台。

3.根据权利要求1所述的系统，其特征在于：所述数据预处理模块对不同来源的日志在日志接收端统一、集中管理并特征标识tag；所述tag用二维向量<ip，path>表示；所述ip为网络连接默认参数，所述path为日志通用参数。

4.根据权利要求2所述的系统，其特征在于：所述数据预处理模块对不同来源的日志在日志接收端统一、集中管理并特征标识tag；所述tag用二维向量<ip，path>表示；所述ip为网络连接默认参数，所述path为日志通用参数。

5.根据权利要求1至4任一项所述的系统，其特征在于：所述数据处理模块对日志数据进行二次处理，通过管理的日志处理插件实现；包括多语言插件模块、特定功能插件模块、插件管理模块；

多语言插件模块提供一个通用的核心插件库，提供Java、Python、Ruby、Go等多种语言版本的插件API，实现跨语言的通用插件平台；

插件管理模块将插件代码复制到工程目录plugins下，系统通过定时扫描plugins目录实现动态加载插件，包括插件加载、卸载、异常管理和行为管理；插件加载、卸载实现特定功能插件模块的加载或卸载；插件行为管理提供一个plugin_playbook.yml文件统一规划整个数据流的处理流程。

6.根据权利要求5所述的系统，其特征在于：所述的插件是输入、输出均为json数据类型且功能完全独立的日志解析模块；模块之间可灵活组合、可共用，具体的组合方式通过解析plugin_playbook.yml文件实现。

7.根据权利要求5所述的系统，其特征在于：所述的插件分成四部分，包括：一、标签tag，判断日志数据来源是否符合要求；二、前置插件，表明该插件处理哪些插件的后续数据；三、插件内部核心处理逻辑，实现日志解析的核心业务；四、后续接入插件，表示该插件的输出数据交由下一阶段哪些后续插件处理。

8.一种云环境下的多源日志数据处理方法，其特征在于：所述的方法包括步骤如下：

步骤1：云平台搭建日志数据流二次处理系统；

步骤2：接入不同来源的文本日志数据；

步骤3：对不同来源的文本日志数据流通过二维向量<ip,path>进行标签化处理；

步骤4：编辑plugin_playbook.yml文件，定义日志数据流处理链路，确定日志在不同插件之间的处理顺序；

步骤5：插件管理模块扫描并加载plugins目录下所有插件；

步骤6：解析plugin_playbook.yml文件，构造完整的数据流解析链路，原始日志文件根据链路标识，按序逐步流传到不同的插件处理；

步骤7：将处理后的日志存储到后端数据处理模块。