[发明专利]定位性能瓶颈的处理方法、设备及可读存储介质有效
申请号: | 201810281859.2 | 申请日: | 2018-04-02 |
公开(公告)号: | CN108521353B | 公开(公告)日: | 2022-04-01 |
发明(设计)人: | 盛勤;李晶;晋晓峰;王惠惠;周翠 | 申请(专利权)人: | 深圳前海微众银行股份有限公司 |
主分类号: | H04L43/08 | 分类号: | H04L43/08;H04L41/069;H04L41/0631;H04L41/0677 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 胡海国;魏兰 |
地址: | 518052 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 定位 性能 瓶颈 处理 方法 设备 可读 存储 介质 | ||
1.一种定位性能瓶颈的处理方法,其特征在于,所述定位性能瓶颈的处理方法包括以下步骤:
在待测系统中执行全链路压力测试任务,并在压力测试任务执行过程中,采集待测系统中与压力测试任务相关的各子系统的日志信息,其中,所述全链路压力测试为所述待测系统中每一条从请求端到处理端的压力测试;
在压力测试任务结束后,基于采集的各子系统的日志信息,计算待测系统中每一子系统的请求平均响应时间;
生成待测系统的压力测试结果报表,以供基于所述压力测试结果报表定位待测系统的性能瓶颈;其中,所述压力测试结果报表中包含有各子系统之间的调用关系以及每一子系统的请求平均响应时间,所述性能瓶颈根据各子系统之间的调用关系以及每一子系统的请求平均响应时间定位得到;
所述在压力测试任务执行过程中,采集待测系统中与压力测试任务相关的各子系统的日志信息包括:
在压力测试任务执行过程中,分别基于分布式日志采集系统Flume、分布式消息队列Kafka以及分布式计算框架Spark对待测系统中与压力测试任务相关的各子系统的日志信息进行采集、缓冲与解析,并将解析结果保存至分布式搜索服务器Elasticsearch中。
2.如权利要求1所述的定位性能瓶颈的处理方法,其特征在于,所述在压力测试任务执行过程中,分别基于分布式日志采集系统Flume、分布式消息队列Kafka以及分布式计算框架Spark对待测系统中与压力测试任务相关的各子系统的日志信息进行采集、缓冲与解析,并将解析结果保存至分布式搜索服务器Elasticsearch中包括:
在压力测试任务执行过程中,通过部署在子系统测试机器上的分布式日志采集系统Flume,采集待测系统中与压力测试任务相关的各子系统的日志信息;
将各子系统的日志信息封装成JSON格式报文并发送至分布式消息队列Kafka中进行存储;
调用分布式计算框架Spark中的Spark Streaming组件实时批量拉取分布式消息队列Kafka中存储的日志信息并进行解析,获得各子系统的业务信息与请求响应时间信息;
将所述业务信息与请求响应时间信息保存到分布式搜索服务器Elasticsearch中。
3.如权利要求2所述的定位性能瓶颈的处理方法,其特征在于,所述日志信息包括子系统的业务信息,所述业务信息包括子系统测试机器的IP地址、子系统对应的应用名称、子系统的日志文件名。
4.如权利要求2或3所述的定位性能瓶颈的处理方法,其特征在于,所述在压力测试任务结束后,基于采集的各子系统的日志信息,计算待测系统中每一子系统的请求平均响应时间包括:
在压力测试任务结束后,基于分布式搜索服务器Elasticsearch中保存的各子系统的业务信息与请求响应时间信息,调用分布式搜索服务器Elasticsearch的API计算待测系统中每一子系统的请求平均响应时间,并接收分布式搜索服务器Elasticsearch返回的计算结果。
5.如权利要求2所述的定位性能瓶颈的处理方法,其特征在于,所述定位性能瓶颈的处理方法还包括:
将部署分布式日志采集系统Flume的子系统测试机器作为节点注册到分布式服务框架Zookeeper中;
在分布式服务框架Zookeeper中设置观察者,以观察分布式服务框架Zookeeper中各注册节点上部署的分布式日志采集系统Flume是否存在异常;
当所述观察者接收到分布式服务框架Zookeeper发送的分布式日志采集系统Flume异常信息时,将所述异常信息发送至预设邮箱或预设账户以进行Flume异常告警。
6.如权利要求2所述的定位性能瓶颈的处理方法,其特征在于,所述定位性能瓶颈的处理方法还包括:
定时查询分布式搜索服务器Elasticsearch中是否存在日志解析异常标签;
当分布式搜索服务器Elasticsearch中存在日志解析异常标签时,将所述异常标签所对应的日志解析异常信息发送至预设邮箱或预设账户以进行日志解析异常告警。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司,未经深圳前海微众银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810281859.2/1.html,转载请声明来源钻瓜专利网。