[发明专利]一种前端监控系统中数据流控制的方法

权利要求书

1.一种前端监控系统中数据流控制的方法，其特征在于，具体包括以下：

一、采样和去重方案

数据上报量较大时(日均pv在100万以上)，可以在采集端针对非关键日志加入随机采样，比如性能日志、请求成功的日志和pv日志；实际日志总量≈查询到的数量/采样率；

在采集端，每个上报事件的结构大致是相同的，可以根据事件主要内容，例如msg、url、file、stack、type等字段内容做哈希，得到哈希ID，对于短时间内大量哈希ID相同的事件，应用节流策略，维护哈希ID对应的事件内容(可取首次发生的事件)，更新首次发现时间、最后发现时间和计数；节流时间一到，则上报上述内容；

二、实时数据流控制方案

为达到实时数据流控制的效果，在发送请求前，根据限流策略判断是否限流，若否，则返回错误提示；若命中限流，则初始化请求参数，将请求加入队列；并在请求成功时获取自定义HTTP请求头的值，处理成功时响应，处理限流，设置内部限流变量(_astro_limit)，设置成功时提示限流并返回错误，否则无需处理；

其中错误只有一种，提示未成功设置变量值；

其中限流策略；在发送请求前，得到请求的范围scope、类型category，类型category的值比如有错误(error)，页面浏览(pv)，性能日志(perf)，所有类型(all)等，默认为all；

范围scope默认值为all，范围可以是项目(project)、页面(page)；

根据内部限流变量得到给定范围scope、分类category的限流时间d，当d小于当前时间，则限流，否则不限流；

自定义HTTP请求头的结构，它由三部分组成，第一部分表示多少秒后重试，第二部分表示分类category，第三部分表示范围scope，每个部分的类型均为字符串，整个请求头的值由各部分组成，以逗号(，)为间隔；

其中处理限流的流程如下，首先解析传入的自定义HTTP请求头，当自定义HTTP请求头’astro-rate-limit’有值，则解析此HTTP请求头的值，根据scope、category赋值给内部限流变量，以此实现更精细的控制；否则解析HTTP请求头‘astro-retry-after’的值，同样解析并赋值；

其中监控系统中的服务端可以根据数据上报量、处理速度、磁盘开销来决定是否在请求中添加自定义HTTP请求头和赋值；当然可以根据配置来添加。