[发明专利]云计算系统中处理日志的方法和装置

说明书

本发明实施例提供一种云计算系统中处理日志的方法和装置。该方法包括：获取部署在云计算系统中的应用App产生的日志的当前的流量速率信息；根据流量速率信息和预设的流量速率阈值判断App的当前的日志流量速率是否大于或等于流量速率阈值；当日志流量速率大于或等于流量速率阈值时，以流量速率阈值向云计算系统中的日志收集服务器发送获取到的App的日志，并将暂时未发送的日志缓存在缓存设备中。本发明实施例通过设置流量速率阈值，使得即使某个App的日志流量速率达到限额，其他App新生产的日志也能够及时得到处理，从而可以提高日志的实时性。

技术领域

本发明涉及云计算领域，并且更具体地，涉及云计算系统中处理日志的方法和装置。

背景技术

日志的收集和转发是云计算系统必不可少的基本功能之一。平台即服务(Platform as a service，PaaS)云计算系统会部署成千上万的虚拟机(Virtual Machine，VM)或容器(Container)，并供用户在PaaS云计算系统上发布应用程序(Application，App)。所有这些VM、容器及App在运行的过程中都会产生大量的日志，并被收集传输到日志处理后台做统一的存储和分析。在典型的分布式云计算系统中，VM、容器及App的数量非常多，并会产生海量的日志消息，而这些日志消息对于运维以及问题的排查诊断有着重要的意义。如何有效的处理这些海量日志是一个挑战性的任务。

现有技术中，所有的日志收集转发系统都只是简单的解决收集转发工作，在应对大流量日志的场景下，一般都只是维护一个简单的单向队列(First in first out，FIFO)，按照日志产生的时序将所有日志通过单向队列发送出去。当队列满了以后，采取的策略一般是堵塞日志的收集，只有之前堆积的日志都已经处理结束之后新产生的日志才能得到处理。但是，新产生的日志堆积不上报的方式，会使得日志的实时性得不到保障。

发明内容

本发明的实施例提供了一种云计算系统中处理日志的方法和装置，能够提高日志的实时性。

第一方面，提供了一种云计算系统中处理日志的方法，该方法包括：获取部署在云计算系统中的应用App产生的日志的当前的流量速率信息；根据流量速率信息和预设的流量速率阈值判断App的当前的日志流量速率是否大于或等于流量速率阈值；当日志流量速率大于或等于流量速率阈值时，以流量速率阈值向云计算系统中的日志收集服务器发送获取到的App的日志，并将暂时未发送的日志缓存在缓存设备中。

根据本发明实施例的云计算系统中处理日志的方法，通过设置日志流量速率阈值，对App产生的日志进行流量控制，使每个App产生的日志流量均以不超过阈值的流量速率发送至日志收集服务器。这样，避免了在一些突发全局性的大流量场景下，部分App产生的大量日志占用了服务器资源，从而造成的拥塞。同时，保证了每个App新产生的日志也能至少部分实时提交到日志收集服务器，而不是被直接丢弃或是堆积在日志产生服务器很久后才能发送到日志收集服务器端，从而能够提高日志的实时性。

另一方面，如果按照传统的仅按照时序管理日志的方法，当由于App异常或恶意App产生海量日志时，容易主动或被动地攻击云平台服务器，对云平台计算以及存储资源的造成瞬时冲击，导致严重后果。本发明实施例的处理日志的方法为每个App设置日志流量速率阈值，能够有效阻止这种海量日志的冲击。

结合第一方面，在第一方面的第一种可能的实现方式中，该方法还可以包括：当日志流量速率小于流量速率阈值时，可以以日志流量速率向日志收集服务器发送获取到的App的日志，并以空闲流量速率向日志收集服务器发送缓存设备缓存的App的日志，其中空闲流量速率小于或等于流量速率阈值与日志流量速率之差。