[发明专利]分布式流计算系统中可构建的动态过载控制方法

说明书

技术领域

本发明总的来说涉及分布式流计算中使用的信息系统。特别是，本发明涉及分布式流计算系统中的过载管理。更特别的是，本发明涉及分布式流计算系统中的过载控制方法。

背景技术

计算机网络中产生过载的根本原因是网络容量不能满足用户的需求，当发生过载时，网络处理能力显著下降，从而无法保证用户服务质量。

产生网络处理能力下降的一种具体原因与流计算有关。流计算是关于当新的数据或事件正实时输入时产生更新的计算结果的连续流。由于随着时间产生未知资源需求的新数据或事件出现的时变和零星特性，资源的提供和分配变得相当困难。在新的数据或事件的到达率超过系统容量的过载情况下，该系统缺乏在容许时间段内处理新到来的数据或事件的资源。因此，正在处理的等待时间变得不可控，损害了计算结果流的更新。

现有的计算结构和技术已经发展以解决上述问题。这样的一种结构是将计算资源分成用于处理输入数据或事件的物理或逻辑单元(节点)，并且根据分配机制将要到来的输入数据或事件分配给这些节点。该分配机制可以像单循环技术那么简单，或者可以像基于节点的一直监测的过载控制等级的智能分配那样复杂。这种结构的好处是计算处理可以并行分配和执行，并且计算资源的物理/逻辑单元可以根据实际运行时间的过载控制等级进行添加或者移除，因而实现了可量测性。这种分布式流计算系统的一个例子在以下文献中进行描述：Neumeyer等人，S4：分布式流计算平台(Distributed Stream Computing Platform)，Santa Clara，California，U.S.A.，2010，其全部内容结合在本文中作为参考。

如何有效的对网络进行过载控制，是所有网络必须解决的问题。这里的网络包括所有计算机网络，无线通信网络，包括IP多媒体系统作为提供多媒体业务的子系统以及多台计算机同时计算的“云计算”情况。过载控制是一种计算技术，作为独立于业务的非功能特征是所有业务运行时所必需的，其丢弃未处理的输入数据或事件中的某些片段，以便减小系统过载，进而减小计算结果流的可见等待时间。现有的过载控制算法包括基于预测的自适应接入控制算法和多目标接入控制算法。过载控制的一个问题是如何最有效地丢弃未处理的输入数据或事件并且仍然确保最小化与最佳计算结果的偏差。

一种过载控制的策略是一旦达到系统资源容量，则舍弃到来的输入数据或事件；例如，当用于容纳要被处理的输入数据或事件的缓冲区满时。然而，这种策略无区别地处理所有的输入数据或事件并且不考虑输入数据或事件的重要性差别。这样导致计算结果的不可预测或者精度差。此外，数据或事件丢包率不能进行调节，用于改变输入数据或事件到达率以及在运行时间中的可见处理等待时间。

另一种过载控制策略是连续监测实际处理等待时间和/或资源(诸如CPU和存储器)使用率，与预定的最佳处理等待时间和/或资源利用率进行比较，根据实际和最佳处理等待事件和/或资源利用率之间的差丢弃随意选择的未处理输入数据或事件。这种的策略的一个例子在下面的文献中进行描述：Kalyvianaki等人；Overload Management in Data Stream Processing Systems with Latency Guarantees，斯德哥尔摩，瑞典，2012；其全部内容结合在本文中作为参考。然而，这种策略具有计算结果不可预测性或精度差的相同问题。

某些其他的过载控制策略要求系统具有输入数据使用的实际知识。这种使用可以是由用户指定的输入数据的数据查询的形式。何时丢弃和丢弃什么的决定取决于这些查询的分析，以便确定输入数据重要性的不同等级。丢弃决定的运行时间控制可由专门设计的查询来实现。例如，美国专利申请公开No.2012/027,843公开了一种控制过载控制的方法，用于排除输入到数据流管理系统中的数据处理的数据流。

这样的一种过载控制策略的另一个例子将XML查询处理应用到输入数据上，并且根据XML数据结构的图形来做出丢弃决定。该例子的细节在以下文献中公开：Wei等人的Utility-driven LoadShedding for XML Stream Processing，Worcester Polytechnic Insitute，U.S.A.，2003；其全部内容结合在本文中作为参考。然而，这些过载控制策略的缺点是它们不灵活，并且高度地专用于应用和数据。

发明内容

当前所要求保护的发明的一个目的在于提供一种在分布式流计算系统中使用的过载控制方法，该方法有效、优化、灵活并且在计算结果精度和处理等待之间保持平衡。