[发明专利]一种物联网数据清洗方法

摘要

本发明公开了一种物联网数据清洗方法，涉及物联网数据处理领域，包括以下步骤第一步实施人员通过Web Service获取物联网原始数据；第二步实施人员将原始数据重构后，将其存储在内存中；第三步实施人员将重构后的原始数据重组为UDB树；第四步读取预先设定的规则，进行数据清洗。本发明按照预先设定的规则对数据清洗，最大程度的减少I/O操作，从而在根本上解决传统的性能瓶颈问题。

主权项

一种物联网数据清洗方法，其特征在于：包括以下步骤：第一步：实施人员通过Web Service获取物联网原始数据；所述第一步的详细过程包括如下步骤：利用Web Service的方式，对外提供数据服务接口，将数据统一传输至中心数据库，中心数据库采用传统的关系型数据库，为每种类型的设备创建各自的数据表，设备编号作为唯一识别号，所有采集的原始数据将存储在各自的数据表中；第二步：实施人员将原始数据重构后，将其存储在内存中；所述第二步的详细过程包括如下步骤：从中心数据库获得所有数据后，实施人员将这些原始数据组装成为数据块；在完成数据重构后，再将这些数据块加载至内存中；第三步：实施人员将重构后的原始数据重组为UDB树；所述第三步的详细过程包括如下步骤：利用UDB查询算法，将第二步中的数据块按照关键字开始索引，在找到相应的位置后，再按照UDB插入算法将数据块插入相应的节点；所述UDB查询算法包括如下步骤：1)按照节点的关键字值，在整棵树中，从头结点中的所有节点开始起，在这些内中间节点中进行检索，根据节点内的查询结果，进入相应的区域内进行区间查询；2)在得到节点内分区的查询结果之后，需要根据分区头部存放的子节点指针，加上存放在索引节点数据块中的相对偏移量，此偏移量即是相对首节点的节点编号；循环步骤1)、2)直到找到被索引的节点；3)利用设置好的HASH函数，计算出被索引的节点对应的HASH值后，再访问数据块链；所述UDB插入算法包括如下步骤：向UDB树插入新的节点时，查询关键字所应插入的叶子节点；当叶子节点被定位后，需要判断该节点是否有足够的空间来容纳新的索引项；如果空间不足，则需要分裂叶子节点；当叶子节点需要分裂时，需要考虑父节点是否有足够的空间；如果父节点P有足够的空间,f是P中某一个分区上的子节点组指针；g是f所指的子节点组；在g中的某个节点分裂时，需要分配比g更大的子节点组g'中的所有节点都被复制到g中，同时包括被分裂产生的新节点；然后f将指向新的子节点组g'而g的空间将被释放；新节点对应的索引项被插入到父节点P中；如果父节点没有多余空间，那么它本身也要被分裂；假设P为父节点，f是P中某一个分区上的子节点组指针，g是f所指的子节点组；分裂时，分配新的子节点组g'，并从g中复制所有的子节点和新分裂节点；P本身也要被分裂，生成新的节点P’，并从P中复制一半的索引项；同时，P所在的节点组也需要重新分配空间并复制节点数据来容纳P'；如果需要，还将要继续分裂P的父亲节点；同时，每次节点的分裂还需要调整节点内索引；第四步：读取预先设定的规则，进行数据清洗。