[发明专利]一种多维数据采集装置、系统及方法

说明书

本申请提供了一种多维数据采集装置、系统及方法，多维数据采集装置包括：采集组件获取多个数据源采集的多维目标数据；采集组件根据多维目标数据的属性信息，确定处理多维目标数据的配置接口以及与配置接口对应的匹配规则；采集组件根据配置接口的接口信息和与配置接口对应的匹配规则，生成数据划分策略；采集组件按照数据划分策略对多维目标数据进行划分，得到多个数据集合；数据交互中心将多个数据集合发送至存储组件进行存储。本申请通过目标数据的配置接口和与配置接口对应的匹配规则，来生成划分策略，并将划分后的数据集合经由处理后发送至存储结构以及共享平台，使得目标数据的转换更加的灵活，增强了目标数据转换以及共享的实用性。

技术领域

本申请涉及数据处理技术领域，尤其是涉及一种多维数据采集装置、系统及方法。

背景技术

随着软硬件的发展，大数据时代开启了一个大规模生产、分享和应用数据的时代，信息的交互变的越来越习以为常。在各种商业应用的场景下，数据的采集及应用被广泛使用，这种现象已经形成了一种新的商业形态。与传统的数据采集比较，大数据时代数据来源广泛、数据量大且数据类型丰富。

然而由于数据类型的差异化，通常需要依赖各种不同类型的传感器进行采集，这样不可避免地产生了在本地系统上连接多种传感器的现象，显得杂乱且不便于管理维护，另外，由于需要各种不同类型的传感器进行数据采集，使得数据来源变得分散、多样，造成数据的整合、融合困难。

现有技术中，很多数据采集ETL工具也可以支持多种格式数据采集，但是现有的ETL工具都是基于数据库服务的采集，而且这类工具在数据清洗时需耗费大量的时间，且在数据的转换过程中，需要用到数据转换缓存表来实现，由于一个作业的完成对应一个数据属性转换，动辄上百或几十个job需要管理，客户端管理很难编排，造成数据转换不够灵活。

发明内容

有鉴于此，本申请的目的在于提供一种多维数据采集装置、系统及方法，通过采集组件获取多个数据源采集的多维目标数据；采集组件根据多维目标数据的属性信息，确定处理多维目标数据的配置接口以及与配置接口对应的匹配规则；采集组件根据配置接口的接口信息和与配置接口对应的匹配规则，生成数据划分策略；采集组件按照数据划分策略对多维目标数据进行划分，得到多个数据集合；数据交互中心将多个数据集合发送至存储组件进行存储。本申请通过目标数据的配置接口和与配置接口对应的匹配规则，来生成划分策略，并将划分后的数据集合经由处理后发送至存储结构以及共享平台，使得目标数据的转换更加的灵活，增强了目标数据转换以及共享的实用性。

本申请主要包括以下几个方面：

第一方面，本申请实施例提供了一种多维数据采集装置，所述多维数据采集装置包括数据交互中心和采集组件；

采集组件获取多个数据源采集的多维目标数据；

采集组件根据所述多维目标数据的属性信息，确定处理所述多维目标数据的配置接口以及与所述配置接口对应的匹配规则；

采集组件根据所述配置接口的接口信息和与所述配置接口对应的匹配规则，生成数据划分策略；

采集组件按照所述数据划分策略对所述多维目标数据进行划分，得到多个数据集合；

数据交互中心将所述多个数据集合发送至存储组件进行存储。

在一种可能的实施方式中，所述数据交互中心包括字典映射接口：

所述字典映射接口针对每个数据集合按照属性信息进行标准化转换，获得转换后的标准属性数据；

所述字典映射接口将转换后的标准属性数据发送至存储组件进行存储。

在一种可能的实施方式中，所述属性信息包括多个数据特征，所述配置接口包括多个接口组件，所述多个接口组件中的每个接口组件与所述多个数据特征中的一个数据特征对应；