[发明专利]用于在实时数据收集中使用的分级数据收集器和相关技术

说明书

描述用于在具有大量互连端点的分布式计算系统中使用的分布式实时数据收集、处理和处置系统与相关技术。分布式实时数据收集、处理和处置系统与技术利用分级数据收集器和操作方法。

技术领域

本文中描述的概念一般涉及分布式实时数据收集、处理和处置的方法，其带有出于监测和/或控制的目的从计算装置的大型系统收集数据的一个示例应用。

背景技术

从跨全球分布的计算装置的大型系统收集数据是常见任务，但是直到今天，要大规模地快速且可靠地实现仍然是极为困难的问题。例如，软件即服务（SaaS）供应商可能希望立即分析他们的全球基础设施的实时状态以便了解他们正在向他们的客户提供的当前可用性、性能和成本，并在他们的全球负载平衡系统中触发对当前状况做出反应的动作。在另一个示例中，物联网（IoT）供应商可能想要立即分析来自他们的所有天气传感器的数据以便了解全球天气形势如何变化，然后在例如龙卷风警报系统中触发动作。在诸如此类的应用中，值得期望的是：1)立即收集数据，2)实时可靠地分析它，以及3)在可快速触发动作的一个简洁包中提供结果。此外，解决方案可扩展。如果在增加更多计算装置、传感器、服务器和数据时不会危害数据的完整性和系统的操作，那么是有益的。解决方案还应当是低成本的。

如今市场上的数据收集系统通常利用落在以下两种类别之一中的方法：(1) “中央数据库”方法；以及(2) “分布式日志记录”方法。参考图1，基于中央数据库方法的监测系统100包括在中央位置（例如，在纽约市中）中的数据库102。监测器104可包括用于从数据库102取回数据的一个或多个计算装置，并且可称为“网络操作中心监测器”或“NOC监测器”。NOC监测器104可访问数据库102以便基于在数据库102中收集的数据发现异常。作为系统100的一部分并且可位于本地或远程位置的各个计算装置可将原始数据推送（或提取）到数据库102中。在一些系统中，可将数据从各个机器提取到数据库中，或者NOC监测器104可将数据提取到数据库102中。

尽管中央数据库方法对于相对小型的系统很奏效（例如，监测数百个全球分布的系统），但是这种方法会遭受若干个缺陷。例如，位于不同地区（例如，亚洲、欧洲和非洲）中的机器可能需要通信到离开很远距离的中央数据库。如果出现网络连接性问题（例如，由于网络分区或其它连接性问题——它们随距离变得越来越普遍），那么这些远程机器会失去与中央数据库通信的能力。它还可能会导致计算装置分段成分区以及受危害的传导性或受限制的带宽。这种现象可称为“网络分区问题”。

一些传统系统所使用的用于减轻部分“网络分区问题”的一种方式是在每个远程区域中安装代理（例如，在数据中心106、108和/或110中，它们可位于远程系统和中央数据库之间的地理区域中）。代理尝试聚合和缓存数据以便传送给中央数据库102。该解决方案可针对网络分区提供一定量的恢复力（当对网络进行划分时，通过代理存储数据，并在服务恢复时，将数据重新传送给中央数据库）。该缓存功能性保护免于数据丢失。但是，可仍然存在根本性问题——在中心106、108、110和中央数据库102之间失去连接性。如果数据从系统的子集不可获得，那么在来自那些被分区的系统的任何事件上能够不触发动作。作为示例，一家公司在印度具有为印度的末端用户提供视频服务的一组机器，并在美国具有“中央数据库”监测系统。在该示例中，在印度和美国之间可能存在连接性问题，由此将网络分区并妨碍“中央数据库”监测系统看到印度的机器。印度的服务器可提供视频服务给印度的末端用户。但是，如果在印度出现任何问题（例如，服务器之一具有硬件故障），那么监测系统将不知道它。通常，监测系统可快速触发动作以便从服务去除此类不健康的机器，但是如果中央数据库不知道问题，那么它无法去除不健康的机器。

中央数据库方法存在的另一个问题是“扩展性问题”，即，增加系统的尺寸和范围。由于单独的系统的尺寸有限，所以如果将所有数据存储在一个中央数据库102中，那么可能难以扩展此类系统以便适应大量分布式数据集（例如，从几十万个端点收集的数千个数据点）。