[发明专利]一种用于识别服务零碎异常线索的方法

说明书

本发明公开了一种用于识别服务零碎异常线索的方法，包括步骤线上系统持续运行识别算法；需要遍历当前时间段T内的每一种维度组合E，并将所有维度组合E作为节点建立树状结构；根据剪枝算法筛选出线索节点；基于S3得到的线索节点，使用层次遍历的方式搜索每一个节点并计算该节点所表示的维度组合E成为一个线索的可能性大小和提供有价值的线索列表。本发明聚焦于识别出琐碎零散的异常，实时提供给运维人员关于异常的有价值的线索，对于在线系统的持续稳定与健康度提供很好的支持，能够更早一步在发生较大问题前识别到有价值的线索，这种先应式异常线索识别算法对于线索系统的健康发展更加有利。

技术领域

本发明涉及线上系统维护技术领域，具体为一种用于识别服务零碎异常线索的方法。

背景技术

对于许多拥有大量用户的在线系统而言，持续稳定地提供服务对业务至关重要，需要保障需要的整体健康度，并且系统中时时刻刻都存在大大小小的异常，此外这类系统一般都非常庞大，这使得异常的方向和原因的排查都非常困难，本发明关注于线上系统服务的成功率指标异常，对于拥有大量用户的线上系统而言，即使很小幅的服务调用成功率下降也会导致很多的用户受到影响，为了解决这个问题，当前几乎所有提供互联网业务的公司都会引入各种APM工具(应用性能管理)来监视公司的所有线上的服务，比如CAT、Pinpoint、Skywalking、Zipkin等开源工具，上述多种开源的APM工具在接入到系统服务中后提供了对服务运行中的实时监控数据，APM会对服务的请求调用、服务运行状态、硬件状态等进行监控，但是记录并提供数据并不意味着服务异常以及背后根因的自动暴露，实践中，通过算法和人工排查结合的方式处理指标值异常仍然是主流的方式。

此外，在指标的异常检测上，当前国内外研究中提出了多种方法，例如基于预测算法、基于统计、基于机器学习等算法，而实际上上述类型的异常检测方式在线上生产环境中实现较为困难，导致服务异常后找到原因较为艰难，有以下两点原因：

首先，事实上服务异常的真实原因在大型系统中并不是很容易被发现，尤其是当前几乎都是分布式部署的情况下，很可能同一个服务，有的地区正常，有的地区不正常，而一旦等到用户明显感知到服务异常，问题往往已经比较严重，这类事件的例子在通信、银行、证券、电商、社交等各种依托大型互联网系统的领域比比皆是，给业务造成极大影响；

其次，真实线上环境中，APM工具能够记录下每条服务调用所附带的维度属性值(例如，城市、运营商、平台、网络等)，并且每个维度下都包含多个值(例如，运营商维度下有电信、移动、联通等)，即每条服务调用在每个维度属性下都具备对应的属性值，例如一条安卓手机发出的使用上海地区的联通4G网络的服务调用，这使得事实上的根因是不可能自动被发现的，现有的研究事实上只能给出线索，真正的根因只能人工排查，这往往耗时耗力，甚至人工排查依据的线索未必是正确的。

简而言之，线上的服务成功率指标在实际环境中会一直存在各种程度不一的异常(我们称为症状)，需要通过持续运行识别算法并实时提供有价值的线索列表，运维人员能够在适当时间关注线索列表并及时排查真实导致异常的根因，这是本发明算法运行的工作范式，需要指出的是，现有的国内外研究工作中，算法实现的根因定位在真实的生产环境中并不完全是异常问题的根因，即现有研究所给出的所谓根因事实上只是辅助运维人员排查根因的线索。这些线索可能能够很大程度上提高运维人员的工作效率，但是，往往离服务异常的根因还有较大的差距，这个差距需要人工排查方式去弥补，然而，一旦这个线索指引的方向有错误，那么排查人员的工作就白费了，甚至在很多时候，这些线索就算是对的，但是如果对应的根因是一个偶发因素，那么排查也没有实际意义，遗憾的是，现有的相关研究以及工具中，一方面将线索定义为根因，同时也没有任何线索优化措施，使得实际运维环境中的根因排查仍然耗时耗力，甚至是白费力气，极大地影响了相关技术在生产领域的应用，根因是指导致服务成功率指标异常的根本原因，即服务中真实出现的问题。

本发明公开的一种用于识别服务零碎异常线索的方法，用于在高维线索的定位下，进一步实现对持续服务产生负面影响的线索的识别算法，在一个时间序列中不断优化线索排序，为异常排查人员提供更具有排查价值的线索。