[发明专利]在通信网络中处理大数据的装置及方法

说明书

本发明涉及在通信网络中处理大数据的装置及方法，尤其适用于对来自工程机械、车辆的大数据的处理。该大数据处理装置包括通信接口、大数据存储库和处理器。通信接口用于从设置于例如工程机械、车辆等的多个物联网发射机接收数据流，从数据流中获取数据值，将获取到的数据值排列成接收数据向量，并存储于大数据存储库中。处理器用于：从大数据存储库中获取数据向量，得到一组被获取数据向量；用正交滤波器组对一组被获取数据向量中的每一个进行滤波以得到一组滤波后数据向量；确定每个滤波后数据向量的能量；丢弃与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量，以得到被获取数据向量的缩集。

技术领域

本发明涉及数据处理，更具体地，涉及一种用于处理和存储来自物联网源的大数据的装置和方法。

背景技术

物联网(IoT)是指大量物理设备连接到一个或多个通信网络，以便彼此或与其他网络实体收集和交换数据。物联网设备大多是嵌入式的，包括传感器、通信接口和其他元件，以实现传感和网络连接。

越来越多的物联网设备是为消费者使用而产生的，例如车联网、家庭自动化系统、可穿戴技术、联网健康设施和具有远程监控功能的设备。

大量的物联网设备可以随时生成和传输大量数据，以下称为大数据。这些大数据可以源自制造工厂的机器上的传感器记录的机器参数，或是在室内、医院或其它场所监控的环境记录，还可以是通过用户设备(如智能手机或其他移动设备)传输的消息或文字。

以移动工程机械和车辆组成的物联网为例，这些机械和车辆可能遍布于全国各地的室内外建筑工地、矿山等场所，涵盖装载机、挖掘机、高空车辆等不同类型的机械。当同样的工程机械应用于不同的工作环境下，例如挖沙的挖掘机和挖石子的挖掘机，其部件损耗位置及损耗程度、电机的运行参数是存在很大差异的。为了掌握每一台工程机械的工作参数及环境参数，以便及时加以维护，避免工程机械在使用过程中发生故障，可以通过工程机械和车辆上的电控系统以及用户终端，采集指示不同气候条件(如温度、湿度、GPS位置等)和工作条件(如电机等主要电气部件的输入电流、输出电流、温度、振动等)的实时数据，并将数据传输到大数据平台进行处理和分析。通过环境数据和设备数据，可以识别和判断工况，为每一台移动工程机械和车辆制定独特的维护计划。

由于物联网架构已不仅仅局限于同一场所的所有机械，通过GPS、5G或其他通信网络可将不同场所的机械以通信方式连接起来构成更大规模的物联网架构，此类大规模物联网架构每天产生的数据量是惊人的。为了处理和存储大数据，需要大量的存储资源。因此，需要一种改进的大数据处理装置及方法，用于在通信网络中高效地处理和存储大数据。

发明内容

为实现上述和其他目的，本发明提供了一种改进的在通信网络中处理大数据的装置和相应方法，其中，该装置用于从通信网络中的多个物联网源接收大数据流，大数据流可包括数据包，每个数据包形成数据向量。其中，数据包的数字数据值形成数据向量的分量。

举例来说，如果数据包具有例如十个数字数据值，则这十个数字数据值形成数据向量的十个分量。通常，根据数据处理或传输方案，可以获得实数或复数的数据向量。

本发明的实施例能够获取多个数据向量以得到由数据向量形成的大数据集，并且可以仅查看数据空间的某些维度以使得大数据可管理。

就此而言，本发明的实施例可实现通信网络中接收的数据量的减少以节省数据的存储空间。由此，本发明的实施例也能够降低处理数据的计算复杂度。

更具体地，本发明的第一方面涉及一种用于在通信网络中处理大数据的装置，其中所述通信网络被布置为支持多个物联网(IoT)发射机的通信并且所述装置包括通信接口、大数据存储库和处理器。