[发明专利]云原生环境下支持服务负载激增预测的容器弹性伸缩系统

说明书

一种云原生环境下支持服务负载激增预测的容器弹性伸缩系统，包括：数据采集模块、伸缩模块、策略模块、深度学习模块和数据传输模块，本发明在服务负载激增的情况下依然能够为服务预分配合适的资源保证服务的高可用。基于时间卷积神经网络和图嵌入的服务负载预测模型能够提前预测服务负载激增，基于多元线性回归的并行度计算方法能够根据预测负载准确计算出所需容器数量，避免了在服务负载激增情况下服务崩溃以及多次进行伸缩动作导致的系统不稳定问题。

技术领域

本发明涉及的是一种云计算领域的技术，具体是一种云原生环境下支持服务负载激增预测的容器弹性伸缩系统。

背景技术

根据负载变化自动进行弹性伸缩的系统是云计算领域针对不可估计的负载变化问题进行资源动态分配的系统。现在已经存在的弹性伸缩技术包括采用投机性策略完成弹性伸缩，和采用时间序列分析方法预测负载并预分配资源。预分配资源相对于被动伸缩具有更好的效果，但是当前容器弹性伸缩系统没有考虑服务负载激增的情况，在服务负载激增的情况下，服务依然无法处理激增的负载，从而导致服务崩溃。

当前容器弹性伸缩系统计算并行度时根据随着并行度增加处理能力线性变化的假设，但是在实际测试中，随着并行度的增加，服务的处理能力并不是线性变化的，因此出现完成伸缩后资源分配不足或过量的问题，导致系统短期内再次出现伸缩动作，以及后续因系统不稳定出现吞吐量下降的问题。

发明内容

本发明针对现有技术存在的上述不足以及在云原生环境实现容器弹性伸缩所面临的问题，提出一种云原生环境下支持服务负载激增预测的容器弹性伸缩系统，在服务负载激增的情况下依然能够为服务预分配合适的资源保证服务的高可用。基于时间卷积神经网络和图嵌入的服务负载预测模型能够提前预测服务负载激增，基于多元线性回归的并行度计算方法能够根据预测负载准确计算出所需容器数量，避免了在服务负载激增情况下服务崩溃以及多次进行伸缩动作导致的系统不稳定问题。

本发明是通过以下技术方案实现的：

本发明包括：数据采集模块、伸缩模块、策略模块、深度学习模块和数据传输模块，其中：数据采集模块获取服务中每一个容器的使用资源信息并输出至数据传输模块，数据传输模块将使用资源信息以流形式分别输出至深度学习模块和策略模块，深度学习模块使用来自数据传输模块的资源信息训练服务负载预测模型和并行度计算模型，策略模块获取来自数据传输模块的服务历史负载数据，并使用负载激增预测算法调用服务负载预测模型得到预期负载并输出至并行度计算方法，并行度计算方法调用并行度计算模型得到服务所需的容器数量并将结果输出至伸缩模块以对服务进行伸缩。

所述的容器是指：容器使用内核轻量级的操作系统层的虚拟化技术，在同一个物理机上可以启动多个容器提供相同的服务。

所述的使用资源数据包括：容器相关数据和服务相关数据。

所述的容器相关数据包括：每个容器的CPU利用率、内存占用和容器数量。

所述的服务相关信息包括：服务负载，请求处理时间。

所述的服务负载：每秒钟服务需要处理的请求数量。

所述的容器弹性伸缩是指：当服务负载增加时，增加容器的数量，当服务负载减少时，减少容器数量。

所述的数据采集模块包括：请求发送单元和数据处理单元，其中：请求发送单元与数据处理单元相连，请求发送单元给服务所在集群发送请求并获取上述资源数据，并将数据传输给数据处理单元，数据处理单元对数据进行预处理后将数据输出至数据传输模块。

所述的预处理，包括：删除错误数据以及通过插值法补充缺失数据。

所述的数据传输模块采用kafka作为数据传输组件，将数据采集模块采集到的资源数据根据名称发送到kafka对应的数据队列中。