[发明专利]一种分布式系统数据收集方法及数据签名生成方法

说明书

本发明提供了一种分布式系统数据收集方法，对更新的文件内容，根据流量控制逻辑按照配置拆分为2个以上部分，每个部分分别调用加密函数，将数据加密后进行上报；所述流量控制逻辑为：根据用户配置的最大传输单元，将需要上报的所有数据进行分段，然后针对每段分别调用签名函数，为数据生成签名，将签名追加到数据的末尾。与现有技术相比，能够保证分布式的采集数据的同时，不会对系统带宽造成过大压力，日志系统最大保全，同时还能够提供一定程度的信息安全保障。

技术领域

本发明涉及一种分布式系统数据收集方法及数据签名生成方法，特别是涉及一种适用于大量数据进行收集的分布式系统数据收集方法及数据签名生成方法。

背景技术

随着互联网企业规模的扩大，面临的数据量、数据源都会成几何级数的上升，系统复杂度也急剧上升，对应的安全的收集数据的需求也会大大提高。

当今主流的监控数据采集框架或多或少都借鉴了Log4j库的设计理念。Log4j实现了一个基于Java的数据记录工具框架，其最初是由Ceki设计并开发，现在已经成为Apache的一个开放源代码项目。在Log4j中定义了3个重要概念，分别是Logger、Appender和Layout：Logger用于定义不同的数据采集对象；Appender描述输出流，如屏幕、文件、GUI组件、Socket服务器、NT事件记录器、syslog进程服务等，通过为Logger指定一个Appender，可以区分不同对象的输出目标；Layout用于指定监控信息的输出格式，通过为Appender来指定一个Layout，可以决定监控信息以何种格式输出，比如是否有带有时间戳，是否包含文件位置信息等。通过这三个组件协同的工作，Log4j为监控数据采集行为控制提供了极大的灵活性。此外，基于预定义的等级和过滤器，用户可以自由地选择需要记录的数据。目前Log4j的团队已经推出了Log4j 2.0，它通过提供一个插件架构，使得该库更具可扩展性。

Log4j虽然功能强大，但是该库只是面向Java语言的，因此基于Log4j机制的其他语言替代库相继应运而生。Log4c便是模仿Log4j原理的C语言实现。类似地，它通过定义Category，Appender和Layout三个属性唯一确定一个数据采集对象。Log4c不支持异步数据采集。

Log4g同样是C语言的一个实现，它基于glib的GObject开发，支持异步数据输出，此外Log4g还支持面向CouchDB的数据记录，便于日后利用基于NoSQL环境的大数据分析。Log4cplus和Log4cxx 是C++的Log4j实现，它们具有线程安全、灵活输出、以及多粒度控制的特点，但Log4cplus的移植性不高，而Log4cxx虽然通过使用APR增强了移植性，但是APR本身增加了用户系统的依赖性。此外，Zlog作为一款比较新的数据采集库，通过定义不同的fsync阈值来实现记录监控数据落地请求和磁盘IO工作的异步处理。

可以看到，现有的各种数据采集模块虽然能够实现监控信息的输出，但是在设计上都比较简单。无法将分布式的信息采集到一起，也无法保证信息的安全可靠，更无法根据系统的整体状况控制流量，因此在应用系统实时运行中，如果突然出现大量数据写入请求，必然导致出现性能瓶颈，轻则数据丢失，重则系统瘫痪。而且分布式系统具有单台计算机无法比拟的复杂性，网络带宽资源也更加的重要，怎么帮助监控系统在海量的服务器中，精准的找到故障现场，这些传统的数据收集方式，也是无法胜任。

综上，虽然目前有很多监控数据异步采集系统，但是无法兼顾分布式系统整体带宽、性能的基础上给出安全稳定的解决方案，缺陷很明显。

发明内容

本发明要解决的技术问题是提供一种能够保证分布式的采集数据的同时，不会对系统带宽造成过大压力，日志系统最大保全，同时还能够提供一定程度的信息安全保障的分布式系统数据收集方法及数据签名生成方法。

本发明采用的技术方案如下：

一种分布式系统数据收集方法，具体方法为：