[发明专利]一种远程日志采集和加密传输系统及方法

说明书

本发明公开了一种远程日志采集和加密传输系统及方法，包括至少一个日志采集器和至少一个云服务平台，日志采集器被预先配置为与各基础设施相关联，并根据各基础设施的需求而采集运行日志文件，以及初步存储采集的日志文件，日志采集器通过TCP/IP协议接收各基础设施的运行日志文件，日志采集器向云服务平台请求链接并与云服务平台建立加密传输通道；云服务平台通过加密通道接收经过压缩后的日志文件，云服务平台将接收的日志文件进行智能关联分析和统一存储。本发明保证了日志采集和管理系统的高可用性、可扩展性和高安全性，云服务平台通过虚拟化技术部署提高的系统的计算能力和稳定性，有效的降低的平台建设得成本投入。

技术领域

本发明涉及计算机互联网技术领域，尤其涉及一种远程日志采集和加密传输系统及方法。

背景技术

现在的互联网+时代，各类新型互联网业务不断诞生，网络安全已成为企业或者单位发展的命脉，对网络安全态势的分析越来越重要，而网络安全态势分析的基础是单位关键基础设施的运行日志、系统日志。对于互联网来说，获取用户在网站上的访问记录，进行行为分析至关重要。日志的获取有好多种，例如：服务器日志数据、客户端装一些监视软件发送日志、页面标记法等。这些数据遍布公司成百上千的服务器上，如何将这些数据收集到一起，供后续分析使用，是一大技术难题。

Syslog已成为工业标准协议的系统日志，目前，可用它记录设备的日志。在路由器、交换机、服务器等网络设备中，syslog记录着系统中的任何事件，管理者可以通过查看系统记录，随时掌握系统状况。它能够接收远程系统的日志记录，在一个日志中按时间顺序处理包含多个系统的记录，并以文件形式存盘。同时不需要连接多个系统，就可以在一个位置查看所有的记录。syslog使用UDP作为传输协议，通过目的端口514(也可以是其他定义的端口号)，将所有安全设备的日志管理配置发送到安装了syslog软件系统的日志服务器，syslog日志服务器自动接收日志数据并写到日志文件中。

Syslog日志服务器可以同时接收几台到几十台规模的并发服务。日志文件通常都是通过日期方式保存的，但是因为管理员不重视日志，经常会看到有的系统单个日志文件上百M，有的甚至是几G，而实际大家处理问题关注的都是最近的日志，所以控制单个日志文件的大小，对日志的性能以及后期的运维都是非常便利的。

现有的日志采集和管理方法中主要存在以下缺点：

1、日志文件本地存储，需占用大量的磁盘空间，个别网络安全设备不带存储空间或配额很少，无法长时间保存。

2、日志的分析能力和时效差，普遍设备的日志需管理员通过手动的方式去查询去分析，设备与设备间的关联分析需靠人工去完成。

3、可扩展性和实用性较差，对于越多设备所产生的系统日志也就越多，那么设备的日志收集和分析也就越困难。

4、日志文件太大不便游览，由于目前普遍使用文本文件的方式记录文件，日志文件没有很好的压缩，而且访问日志文件需经过一波三折登录服务器才能进行分析。

5、日志安全保障性差，由于设备本身没有限制日志文件的权限，易发生误操作和被恶意删除。

6、可维护性差，现有设备的老化或更新，日志的格式和方式也在变化，系统升级也面临很多部确定因素，面临大量的日志，管理员也无从下手。

因此，需要提供一种新的日志收集管理方式，将实现日志文件的实时收集、统一存储及分析，通过大数据智能关联实现快速存储、智能分析和安全呈现。提升安全运维手段和时效，降低安全风险和运维成本。

发明内容

为了解决上述技术问题，本发明的目的之一是提供一种远程日志采集和加密传输系统，克服现有技术中的不足，实现日志的分布式实时远程收集和及时分析，提高了数据传输的安全性、数据快速检索，实现日志的远程分布式采集及加密传输。

为实现上述发明目的，本发明采取的技术方案如下：