[发明专利]一种业务秒级监控方法及系统、存储介质及客户端

说明书

本发明提供一种业务秒级监控方法及系统、存储介质及客户端，应用于客户端，包括以下步骤：在应用的接口发生调用时，基于预设时间间隔生成所述应用的秒级统计日志，秒级统计日志包括所述预设时间间隔内接口被调用的统计信息；采集所述秒级统计日志；将所述秒级统计日志进行分类存储。本发明的业务秒级监控方法及系统、存储介质及客户端能够快速展示业务相关的指标，并能够以秒为粒度实时更新，从而便于在第一时间定位业务系统的相关问题。

技术领域

本发明涉及业务监控的技术领域，特别是涉及一种业务秒级监控方法及系统、存储介质及客户端。

背景技术

现有技术中业务系统均采用分钟级监控方式。分钟级监控方式主要包括以下步骤：

(1)通过应用的接口每次请求调用，以及每次调用的成功返回分别落下一条日志到应用机器上，该日志中包含接口相关的所有需要的信息。

(2)使用高可用、高可靠、分布式的海量日志采集、聚合和传输的flume系统来采集应用上的日志，并将日志发送到分布式发布-订阅消息传递系统kafka；其中，flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

(3)后端依靠Spark Streaming实时流数据处理系统消费kafka日志并计算统计日志中相关参数，并将计算结果存储至mysql数据库中。其中，Spark Streaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理，支持从多种数据源获取数据，包括kafk、flume、Twitter、ZeroMQ、Kinesis以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理；最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。mysql是一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。

但是，上述分钟级监控方式具有以下不足：

1)由于接口被频繁的调用，每次调用会产生1～2条日志，大量的日志会消耗应用一定量的性能；

2)由于计算统计大量日志信息的过程放在了服务器端，这就需要花费一定量的时间，导致了接近2～3分钟左右的延时。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种业务秒级监控方法及系统、存储介质及客户端，能够快速展示业务相关的指标，并能够以秒为粒度实时更新，从而便于在第一时间定位业务系统的相关问题。

为实现上述目的及其他相关目的，本发明提供一种业务秒级监控方法，应用于客户端，包括以下步骤：在应用的接口发生调用时，基于预设时间间隔生成所述应用的秒级统计日志，秒级统计日志包括所述预设时间间隔内接口被调用的统计信息；采集所述秒级统计日志；将所述秒级统计日志进行分类存储。

于本发明一实施例中，所述秒级统计日志还包括自定义指标参数，基于所述自定义指标参数生成对应的秒级统计日志。

于本发明一实施例中，通过设置预设时间间隔，基于二方库的Metrics统计框架生成所述秒级统计日志。

于本发明一实施例中，基于flume系统采集所述秒级统计日志。