[发明专利]自适应限流的系统、方法和装置

说明书

本发明公开了一种自适应限流的系统、方法和装置。其中，该系统包括：网关，用于接收请求消息，并将请求消息发送至队列容器；队列容器，用于接收并转发网关发送的请求消息；业务容器，用于接收队列容器转发的请求消息，并执行对应的处理操作；控制器，用于依据业务容器反馈的性能指标或队列容器反馈的信息量指标，控制队列容器转发至业务容器的请求消息的数量。本发明解决了由于相关技术在限流上往往是通过静态设置限流策略实现限流，导致的无法满足实际业务的需求的技术问题。

技术领域

本发明涉及互联网技术领域，具体而言，涉及一种自适应限流的系统、方法和装置。

背景技术

在Serverless(无服务器架构)场景下，服务端会按需分配资源，可以根据流量请求、CPU指标等进行自动扩缩容，以满足在不同的负载下资源分配。与此同时在Serverless场景下往往伴随流量请求、负载指标的不确定性，而传统的静态设置限流策略的方式往往不能满足实际业务的需求。

针对上述由于相关技术在限流上往往是通过静态设置限流策略实现限流，导致的无法满足实际业务的需求的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种自适应限流的系统、方法和装置，以至少解决由于相关技术在限流上往往是通过静态设置限流策略实现限流，导致的无法满足实际业务的需求的技术问题。

根据本发明实施例的一个方面，提供了一种自适应限流的系统，包括：网关、队列容器、业务容器和控制器，其中，网关，用于接收请求消息，并将请求消息发送至队列容器；队列容器，用于接收并转发网关发送的请求消息；业务容器，用于接收队列容器转发的请求消息，并执行对应的处理操作；控制器，用于依据业务容器反馈的性能指标或队列容器反馈的信息量指标，控制队列容器转发至业务容器的请求消息的数量。

可选的，队列容器包括：调节模块，其中，调节模块，用于接收控制器发送的调整指令，并依据调整指令通过调节请求队列窗口的大小，控制进入业务容器的请求消息的数量。

进一步地，可选的，请求队列窗口包括：第一调节模块，用于在业务容器的性能指标或队列容器的信息量指标大于或等于第一预设值的情况下，减少进入业务容器的请求消息的数量；第二调节模块，用于在业务容器的性能指标或队列容器的信息量指标小于或等于第二预设值的情况下，增加进入业务容器的请求消息的数量；第三调节模块，用于在业务容器的性能指标或队列容器的信息量指标大于第二预设值，小于第一预设值的情况下，依据预设策略调整进入业务容器的请求消息的数量。

可选的，预设策略为维持当前进入业务容器的请求消息的数量。

可选的，队列容器，还用于将接收到的请求消息进行排队。

可选的，业务容器的性能指标包括：第一类弹性指标；第一类弹性指标包括：处理器指标和存储器指标；或，队列容器的信息量指标包括：第二类弹性指标；第二类弹性指标包括：并发请求指标。

根据本发明实施例的另一方面，还提供了一种自适应限流的方法，包括：接收业务容器反馈的性能指标或队列容器反馈的信息量指标；判断业务容器的性能指标或队列容器的信息量指标是否大于预设值；依据判断结果控制队列容器转发至业务容器的请求消息的数量。

可选的，业务容器的性能指标包括：第一类弹性指标；第一类弹性指标包括：处理器指标和存储器指标；或，队列容器的信息量指标包括：第二类弹性指标；第二类弹性指标包括：并发请求指标。

进一步地，可选的，判断业务容器的性能指标或队列容器的信息量指标是否大于预设值包括：在业务容器的性能指标为第一类弹性指标的情况下，判断业务容器中的处理器指标和存储器指标是否大于预设值。

可选的，判断业务容器的性能指标或队列容器的信息量指标是否大于预设值包括：在队列容器的信息量指标为第二类弹性指标的情况下，判断队列容器中的并发请求指标是否大于预设值。