[发明专利]用于灵活的高性能结构化数据处理的方法和系统

说明书

这里描述的是用于灵活的高性能结构化数据处理的方法和系统。该方法和系统包含用于在一个工作流中平衡和联合优化处理速度、资源利用率、灵活性、可扩展性和可配置性的技术。其应用的主要示例是例如LiDAR的空间数据和图像的分析。然而，本发明适用于各种尺寸和设置的大范围的结构化数据问题。

技术领域

本发明涉及数据处理，特别涉及处理结构化数据的方法。尽管这里将特别参考该申请描述一些实施例，但是应当理解，本发明不限于这样的使用领域，并且可以在更广泛的背景下应用。

背景技术

在整个说明书中对背景技术的任何讨论决不应被认为是承认这种技术是众所周知的或形成本领域公知常识的一部分。

计算、通信和数据采集技术的巨大进步正在全世界跨多个领域被广泛采用，导致可用数据(所谓的“大数据”)以及使用该数据进行的分析水平的爆炸。这些海量数据流和数据集具有巨大的潜在价值，但其管理、处理和可视化已成为并将继续成为一项重大挑战，因为获取能力将继续超过分析能力。伴随大量的数据，其处理和分析本身是一项艰巨的任务，还需要适应各种各样的情景和快速、往往无法预测的变化。例如，在数据类型、格式、预期应用和计算能力上存在差异，这些差异在时间上不是静态的并且通常难以预测。

发明人已经认识到需要一种能够将高计算速度和资源利用率与灵活性相结合的解决方案，以适应任何给定场景中的数据分析需求和可用计算能力。它应该能够处理通知分析的所有数据，而不是被迫仅为了减小尺寸而对数据集进行抽取，并且可以轻松地适应新的场景，而无需进行大量的手动重新配置或进一步开发。它应该构成计算分析框架，其可以在高度可配置和高计算效率的工作流中读取、索引、清理、分析和输出具有一系列源、类型和格式的多维数据。

在该背景中的重要区别在于结构化和非结构化数据之间。现今捕获的大多数数据都是非结构化的。结构化数据的众多示例之一是空间数据，例如从LiDAR(光检测和测距)获得的空间数据和空中或地理参考图像(下面简称为“图像”)。以最佳方式解决结构化和非结构化数据问题需要不同的方法。在非结构化数据集中，关键的挑战是在大量看似随机的数据中找到有意义的模式和趋势，即结构。由于结构定义明确，可以更有效地存储、处理和分析大型结构化数据集，但它们在上述管理、处理和可视化方面存在相同的基本挑战。

有趣的是，出于规模和灵活性的原因，结构化数据越来越多地以非结构化方式存储。例如，系统记录的数值以XML或JSON格式存储。这些数据存储方法以有效存储和索引为代价提供了灵活性。高性能计算技术需要通过使用专门的索引方法来实现紧凑的数据结构和高度优化的数据访问。这样的数据集为用户或系统提供了重新施加结构的机会，从而提高了后续分析过程的效率。以非结构化方式存储的该结构化数据通常被称为半结构化数据。然而，出于本发明的目的，半结构化数据被认为是结构化数据，因为它能够被本发明有效地处理。

用于处理和存储大量非结构化数据的软件解决方案并不十分适合于在大型结构化数据集中联合优化处理速度、资源利用率、灵活性、可扩展性和可配置性的根本不同的问题。

结构化大数据问题的现有解决方案，例如，在发明人所知的空间域中，承受一个或多个以下缺点：

·它们无法适应并共同优化处理速度、资源利用率、灵活性、可扩展性和可配置性。它们在这些参数的一个或子集中是最佳的，而牺牲其他参数。

·它们可能需要多个程序和多个输入/输出功能来构成完整的系统，例如在管道方法中，而不是在一个完全集成的包中具有所有必需的功能。

·它们可能不是平台无关(platform agnostic)的，也无法利用计算机技术(诸如超级计算机和云)的进步，而无需对整个系统架构进行重大的重新设计。

·它们可能无法扩展到大规模数据集大小，因此需要对大型数据集进行简单的细化或分离，从而降低数据集的完整性、保真度和价值，并增加处理时间和相关的资源需求。