[发明专利]基于令牌桶的接口限流方法、装置、系统及可读存储介质

说明书

本发明涉及人工智能技术领域，提供一种基于令牌桶的接口限流方法、装置、系统及可读存储介质，所述方法包括以下步骤：监测服务器的性能指标，并基于所述性能指标，计算所述服务器的综合负载指标值；基于所述综合负载指标值，确定所述服务器的负载是否盈余；若盈余，则确定所述服务器对应的目标调整接口，并确定所述目标调整接口的目标调整值；基于所述目标调整值，更新配置所述目标调整接口的访问令牌数。本发明通过监测服务器的性能指标，在确定服务器的负载盈余时，对目标调整接口进行访问令牌数的调整，从而调整目标调整接口处理依赖访问令牌进行访问的访问请求数，实现对访问请求的灵活限流，提高限流的智能性。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于令牌桶的接口限流方法、装置、系统及计算机可读存储介质。

背景技术

在人工智能技术领域，大数据、大流量、高并发、分布式以及微服务都是当下的热点技术，数据量级的增加，必然导致软件系统架构的升级，让服务间的调用更加错综复杂，而服务间调用请求的积压很有可能导致服务雪崩，最终崩掉整个系统。

为解决上述技术问题，现有技术中一般采用接口限流的方式，其原理大体是使接口的请求量在服务器的承压范围之内。目前主流的限流方案有令牌桶和漏桶两种，其中，令牌桶是按照固定速率往桶中添加令牌，请求是否被处理需要看桶中令牌是否足够，当令牌数减为零时，则拒绝新的请求；而漏桶则是按照常量固定速率流出请求，流入请求速率任意，当流入的请求数累积到漏桶容量时，则新流入的请求被拒绝。

然而，令牌桶是按固定速率处理请求，如果此时服务器的负载盈余，那么就是浪费服务器的资源，而且若此时大量请求堆积过来，由于桶中没有多余令牌，还会造成请求拒绝。这使得，即使服务器的负载有盈余，请求依然会被拒绝、丢弃。漏桶也有类似的缺陷。当然，限流方案不止这两种，还有诸如基于计数器，redis(REmote DIctionary Server，key-value存储系统)的方案，但是它们也有着类似的缺陷。可见，现有限流方案智能性不足，无法进行灵活限流。

发明内容

本发明的主要目的在于提供一种基于令牌桶的接口限流方法、装置、系统及计算机可读存储介质，旨在提高限流的灵活性，实现智能限流。

为实现上述目的，本发明提供一种基于令牌桶的接口限流方法，所述基于令牌桶的接口限流方法包括以下步骤：

监测服务器的性能指标，并基于所述性能指标，计算所述服务器的综合负载指标值；

基于所述综合负载指标值，确定所述服务器的负载是否盈余；

若盈余，则确定所述服务器对应的目标调整接口，并确定所述目标调整接口的目标调整值；

基于所述目标调整值，更新配置所述目标调整接口的访问令牌数。

可选地，所述若盈余，则确定所述服务器对应的目标调整接口，并确定所述目标调整接口的目标调整值的步骤包括：

若盈余，则确定所述服务器的负载盈余量，并基于所述负载盈余量和预构建的负载盈余量与调整值的关系曲线图，确定所述服务器对应的各接口的调整值；

基于所述调整值，确定所述服务器对应的目标调整接口，以及所述目标调整接口的目标调整值。

可选地，所述若盈余，则确定所述服务器对应的目标调整接口，并确定所述目标调整接口的目标调整值的步骤包括：

若盈余，则确定所述服务器对应的各接口的接口类型，并基于所述接口类型，确定所述服务器对应的目标调整接口；

确定所述服务器的负载盈余量，并基于所述负载盈余量和预构建的负载盈余量与调整值的关系曲线图，确定所述目标调整接口的目标调整值。

可选地，所述若盈余，则确定所述服务器对应的目标调整接口，并确定所述目标调整接口的目标调整值的步骤包括：