[发明专利]基于本地处理的样本数据的行为一致的集群范围数据整理

说明书

示范性实施例包括用于行为一致的数据整理的系统、存储至少一个程序的计算机可读存储介质以及计算机实现方法。本地客户端设备从远程数据库选择原始样本数据集。然后本地运行引擎将一个或多个本地数据整理操作应用于原始样本数据。如果本地数据整理操作的结果令人满意，则本地数据整理操作可以被转移到远程数据整理集群。然后，由远程数据整理集群运行的远程运行引擎将数据整理操作应用于从其获得样本原始数据的较大的原始数据集。因为远程运行引擎和本地运行引擎属于相同类型，所以由本地运行引擎展示的数据整理行为反映在远程运行引擎的数据整理行为中。

技术领域

本申请的示范性实施例一般涉及数据处理，并且更加具体来说，涉及基于对较小子集执行的数据整理的大规模数据整理。

背景技术

数据整理是将数据从一种“原始”形式变换或映射为允许更加方便使用数据的形式的处理过程。这样的使用可以包括进一步的整理、数据可视化、数据聚合以及训练统计模型以及许多其它可能的使用。数据整理有时遵循基本步骤的集合，其开始于从数据源提取原始形式的数据，使用各种硬件和/软件模块“整理”原始数据，将数据解析为预定数据结构以及将所得到的结构化内容存储到可存取数据库中供存储以及未来使用。

通常对大数据集执行数据整理，并且可以通过使用可由不同类型的运行引擎执行的各种操作执行数据整理。但是，当对小的数据集执行这些类型的操作时，这些操作运行更慢。此外，如果用户设计整理操作集合时，不同的运行引擎可以不同地实现经设计的整理操作集合。换句话说，尽管一个运行引擎可以适用于大数据集并且第二运行引擎可以适用于小数据集，但是没有确保第一和第二运行引擎的行为将是相等的。因此，即使所请求的数据整理操作是相同的，第一运行引擎和第二运行引擎的输出也可能是不同的。

发明内容

根据本申请的一方面，提供一种方法，包括：在本地客户端设备中从第二多个原始数据中选择第一多个原始数据，第二多个原始数据被存储在远离本地客户端设备处；在本地客户端设备中接收第一多个原始数据；在本地客户端设备中选择对第一多个原始数据执行的多个数据整理操作；在本地设备中将所述多个数据整理操作应用于第一多个原始数据以获得第一多个结构化数据；以及发送所述多个数据整理操作的选择到远程设备，所述远程设备被配置为将所选择的多个数据整理操作应用于第二多个原始数据以获得第二多个结构化数据，第二多个结构化数据具有基于第一多个结构化数据的期望的组织。

根据本申请的另一方面，提供一种系统，包括：存储计算机可运行指令的非瞬时计算机可读介质；和在本地客户端设备中运行计算机可运行指令的一个或多个处理器，其被配置为：在本地客户端设备中从第二多个原始数据中选择第一多个原始数据，第二多个原始数据存储在远离本地客户端设备处；在本地客户端设备中接收第一多个原始数据；在本地客户端设备中选择要对第一多个原始数据执行的多个数据整理操作；在本地设备中将所述多个数据整理操作应用于第一多个原始数据以获得第一多个结构化数据；以及将所述多个数据整理操作的选择发送到远程设备，所述远程设备被配置为将所选择的多个数据整理操作应用于第二多个原始数据以获得第二多个结构化数据，第二多个结构化数据具有基于第一多个结构化数据的期望的组织。

根据本申请的又一方面，提供一种存储计算机可运行指令的非瞬时计算机可读介质，当计算机可运行指令由一个或多个处理器运行时使得所述一个或多个处理器执行方法，所述方法包括：在本地客户端设备中从第二多个原始数据中选择第一多个原始数据，第二多个原始数据被存储在远离本地客户端设备处；在本地客户端设备中接收第一多个原始数据；在本地客户端设备中选择对第一多个原始数据执行的多个数据整理操作；在本地设备中将所述多个数据整理操作应用于第一多个原始数据以获得第一多个结构化数据；发送所述多个数据整理操作的选择到远程设备，所述远程设备被配置为将所选择的多个数据整理操作应用于第二多个原始数据以获得第二多个结构化数据，第二多个结构化数据具有基于第一多个结构化数据的期望组织。

附图说明

附图中各图仅仅示出本公开的示范性实施例并且不能被视为对本公开范围的限制。