[发明专利]一种云环境下的多源日志数据处理系统及方法在审
| 申请号： | 201910880320.3 | 申请日： | 2019-09-18 |
| 公开（公告）号： | CN110727568A | 公开（公告）日： | 2020-01-24 |
| 发明（设计）人： | 罗平;季统凯 | 申请（专利权）人： | 国云科技股份有限公司 |
| 主分类号： | G06F11/34 | 分类号： | G06F11/34 |
| 代理公司： | 44595 广东勤诺律师事务所 | 代理人： | 尚俊 |
| 地址： | 523808 广东省东莞市松山湖高*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种云环境下的多源日志数据处理系统及方法。本发明系统的日志源输入模块提供多源日志接入的功能；数据预处理模块提供数据分类功能；数据处理模块提供日志处理插件管理功能；数据存储模块提供后端数据存储管理功能。本发明对文本日志数据流通过二维向量<ip,path>进行标签化处理；编辑plugin_playbook.yml文件，定义日志数据流处理链路，确定日志在不同plugin之间的处理顺序；扫描并加载plugins目录下所有插件；解析plugin_playbook.yml文件，构造完整的数据流解析链路，原始日志文件根据链路标识，按序逐步流传到不同的插件处理。本发明解决了多源日志处理高度耦合、扩展性不足等问题；可用于多源日志数据处理。 | ||
| 搜索关键词： | 日志 多源 日志处理 链路 数据预处理模块 数据处理模块 数据处理系统 数据存储管理 数据存储模块 数据流处理 数据流解析 扩展性 数据流 插件处理 插件管理 定义日志 二维向量 链路标识 输入模块 数据分类 文本日志 原始日志 耦合 数据处理 标签化 日志源 云环境 插件 加载 可用 解析 扫描 | ||
【主权项】：
1.一种云环境下的多源日志数据处理系统，其特征在于：所述的系统包括日志源输入模块、数据预处理模块、数据处理模块和数据存储模块；所述日志源输入模块提供多源日志接入的功能；数据预处理模块提供数据分类功能；数据处理模块提供灵活的日志处理插件的管理功能；数据存储模块提供后端数据存储管理功能。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国云科技股份有限公司，未经国云科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910880320.3/，转载请声明来源钻瓜专利网。
