[发明专利]一种前端错误日志的处理方法及装置

说明书

本发明提供一种前端错误日志的处理方法及装置，所述前端错误日志的处理方法包括：S1、获取前端错误日志；S2、对所述错误日志的view_path字段进行归一处理得到view_path_group字段；S3、根据所述错误日志的error_type字段和所述view_path_group字段对所述错误日志进行分类，得到分类数据；S4、根据所述错误日志的error_message字段对所述分类数据进行聚类，实现对所述错误日志的处理。本发明的处理方法通过提出一种混合算法，先通过结构化的部分进行一次分类，再通过利用编辑距离进行聚类的算法，达成满足前端错误场景分类和性能优化的双重目的。

技术领域

本发明属于计算机技术领域，具体而言属于一种前端错误日志的处理方法及装置。

背景技术

后端应用一般都部署在特定的服务器上，在日志里留下的错误日志由日志系统控制，比如log4j的log.error()，就前端系统而言，因为前端应用跑在每个客户的客户端，他的日志是散落在每个用户端的浏览器里的，我们通过real user monitor的功能，收集散落的日志，进行统一管理，具体实现的方案比如国际上的sentry.io,datadog等，国内则有观测云。

在收集到的日志中，开发往往最关注的是错误日志，当错误日志大量积累的时候，我们就会面临一个日志分类的难题，同一个错误生成的错误日志里掺杂着大量随机字符串，怎么把不能直接比较的日志进行分类，往往有两种解决方案：

第一种通过前端的指纹算法，相同错误识别为同一指纹，生成的日志不会有差异，在前端完成了错误日志的归一化；

第二种是在后端通过nlp技术进行文本聚类，通过文本聚类实现错误日志分类。

Sentry利用了前者，算法相对复杂，并且会影响前端性能，其他多数日志厂商用的第二种，但是聚类往往要大数据量计算，十分消耗算力。

有鉴于此，特提出本发明。

发明内容

有鉴于此，本发明公开了一种前端错误日志的处理方法及装置，用以解决算法复杂，消耗算力的问题，本发明的前端错误日志的处理方法通过提出一种混合算法，先通过结构化的部分进行一次分类，再通过利用编辑距离进行聚类的算法，达成满足前端错误场景分类和性能优化的双重目的。

具体的，本发明是通过以下技术方案实现的：

第一方面，本发明公开了一种前端错误日志的处理方法，包括如下步骤：

S1、获取前端错误日志；

S2、对所述错误日志的view_path字段进行归一处理得到view_path_group字段；

S3、根据所述错误日志的error_type字段和所述view_path_group字段对所述错误日志进行分类，得到分类数据；

S4、根据所述错误日志的error_message字段对所述分类数据进行聚类，实现对所述错误日志的处理。

上述的前端错误日志的处理方法，先通过对错误日志结构化的部分进行分类，再对分类后的数据根据error_message字段进行聚类，实现最终对错误日志的处理，减小了前端算法复杂的困难，并且不会影响前端性能，通过对前端分类后的数据进行聚类，减小了聚类的计算的数据量，节省算力。

进一步地，所述S2步骤中，所述归一处理的方法包括提取所有所述错误日志的所述view_path字段至一个集合，利用所述集合的数据结构自动保留唯一值，并对所述集合的变化量进行正则替换操作，得到最终的所述view_path_group字段。

进一步地，所述S3步骤中，所述分类的方法包括将具有相同的所述view_path_group字段和所述error_type字段的所述错误日志分到同一组，作为所述分类数据。