[发明专利]一种前端监控系统中数据流控制的方法

说明书

本发明公开了一种前端监控系统中数据流控制的方法，具体包括以下：采样和去重方案，数据上报量较大时，可以在采集端针对非关键日志加入随机采样，比如性能日志、请求成功的日志和pv日志；实际日志总量≈查询到的数量/采样率；在采集端，每个上报事件的结构大致是相同的，可以根据事件主要内容，字段内容做哈希，得到哈希ID，对于短时间内大量哈希ID相同的事件，维护哈希ID对应的事件内容。本发明通过采样、去重、实时流量控制多种手段，能够减小数据上报量、降低存储资源和数据处理的性能开销；而且能够实时控制上报数据流量大小，而无需重新发布前端应用；结合限流策略，可用避免短时间大量数据上报，造成服务不可用的风险。

技术领域

本发明涉及IT与软件开发领域，特别涉及一种前端监控系统中数据流控制的方法。

背景技术

一个前端监控系统包括采集、上报、分析、告警这几个部分；

如果服务流量较大，错误大量产生，会造成数据上报量大大增加，使用公有云服务的话，会增加费用；私有部署的话，占用更多的存储和处理资源，有可能造成服务不可用。而且要更改现有采集上报配置的话，只能将前端应用重新发布上线。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种前端监控系统中数据流控制的方法，减小数据上报量、降低存储资源和数据处理的性能开销。而且能够实时控制上报数据流量大小，无需重新发布前端应用。

本发明提供了如下的技术方案：

本发明提供一种前端监控系统中数据流控制的方法，具体包括以下：

一、采样和去重方案

数据上报量较大时(日均pv在100万以上)，可以在采集端针对非关键日志加入随机采样，比如性能日志、请求成功的日志和pv日志；实际日志总量≈查询到的数量/采样率；

在采集端，每个上报事件的结构大致是相同的，可以根据事件主要内容，例如msg、url、file、stack、type等字段内容做哈希，得到哈希ID，对于短时间内大量哈希ID相同的事件，应用节流策略，维护哈希ID对应的事件内容(可取首次发生的事件)，更新首次发现时间、最后发现时间和计数；节流时间一到，则上报上述内容；

二、实时数据流控制方案

如附图1所示，为达到实时数据流控制的效果，在发送请求前，根据限流策略判断是否限流，若否，则返回错误提示；若命中限流，则初始化请求参数，将请求加入队列；并在请求成功时获取自定义HTTP请求头的值，处理成功时响应，处理限流，设置内部限流变量(_astro_limit)，设置成功时提示限流并返回错误，否则无需处理；

其中错误只有一种，提示未成功设置变量值；

其中限流策略，如附图2所示；在发送请求前，得到请求的范围scope、类型category，类型category的值比如有错误(error)，页面浏览(pv)，性能日志(perf)，所有类型(all)等，默认为all；

范围scope默认值为all，范围可以是项目(project)、页面(page)；

根据内部限流变量得到给定范围scope、分类category的限流时间d，当d小于当前时间，则限流，否则不限流；见附图2；

自定义HTTP请求头的结构，它由三部分组成，第一部分表示多少秒后重试，第二部分表示分类category，第三部分表示范围scope，每个部分的类型均为字符串，整个请求头的值由各部分组成，以逗号(，)为间隔，见附图3；