[发明专利]一种基于超低功率电磁阀的大数据处理方法

说明书

本发明公开了一种基于超低功率电磁阀的大数据处理方法，本发明通过在Apache Spark框架实现了迭代优化模糊c均值算法以实现快速准确地处理电磁阀测得的数据的目的。模糊聚类算法作为无监督机器学习的主要技术之一，是用模糊理论对重要数据分析和建模的方法，建立了样本类属的不确定性描述，能比较客观地反映现实世界，它已经有效地应用在大规模数据分析、数据挖掘、矢量量化、图像分割、模式识别等领域，具有重要的理论与实际应用价值，随着应用的深入发展，模糊聚类算法的研究不断丰富。

技术领域

本发明涉及大数据处理算法领域，具体地说是一种基于超低功率电磁阀的大数据处理方法。

背景技术

随着城市化的推进，城市水网愈加发达，同时出现了不少问题。据研究表明自来水在输送过程中损失的水量高达30％，说明城市水网管道有很多部位发生泄漏，而在管道发生泄漏之后，那么必定会有一部分的杂质进入管道中，会对水质造成严重影响。近年来，随着经济的快速发展人们的生活方式发生了翻天覆地的变化，人们的健康意识也得到了显著增强,对生活饮用水的关注度越来越高了。为了解决这一问题，研制出了一种新型电磁阀，这种超低功率的新型电磁阀是以脉冲宽度调试技术为基础的低功耗电磁阀。通过PWM技术将输入电压的振幅转换成宽度一定的脉冲，再通过调节占空比来降低电路所需的功率，从而降低电磁阀所需功率，所以只需电池为电路供电即可，不需要大规模供电系统。

通过在电磁阀内部安装的不同类型的传感器来采集各种所需的信息。通过液体流量计来测量当前状态下水管中液体的流速；通过液体成分检测传感器来检测当前状态下水质情况。通过传感器传回的信息分析出水路管网中的漏水情况以及当前状态下的水质情况。

但是在实际应用过程中会出现很多的问题，由于小区水路管网中的电磁阀要覆盖整个小区，电磁阀内部传感器所测得数据是十分庞大的，那么当所测得数据通过无线传输网络传回中央系统后，如何快速准确地处理这些数据将会成为推广这种新型电磁阀的技术桎梏。

发明内容

为了解决这一问题，找到了了一种基于分割的聚类算法，称为可扩展随机采样，通过在Apache Spark框架实现了迭代优化模糊c均值算法(SRSIO-FCM)以实现快速准确地处理电磁阀测得的数据的目的。模糊聚类算法作为无监督机器学习的主要技术之一，是用模糊理论对重要数据分析和建模的方法，建立了样本类属的不确定性描述，能比较客观地反映现实世界，它已经有效地应用在大规模数据分析、数据挖掘、矢量量化、图像分割、模式识别等领域，具有重要的理论与实际应用价值，随着应用的深入发展，模糊聚类算法的研究不断丰富。Apache Spark是一种开源的并行处理框架，Spark针对迭代算法和交互式数据分析进行了优化，对同一组数据执行循环操作，Apache Spark比Hadoop Mapreduce等传统框架的执行速度快了将近100倍。

本发明方法的步骤包括：

步骤1：通过电磁阀内部传感器采集信息

通过在电磁阀内部安装的不同类型的传感器来采集各种所需的信息。通过液体流量计来测量当前状态下水管中液体的流速；通过压力传感器来检测当前状态下水管中的压力；通过液体成分检测传感器来检测当前状态下水质情况。通过传感器传回的信息分析出水路管网中的漏水情况以及当前状态下的水质情况。

步骤2：将安装在各个节点电磁阀内部的不同传感器所测量的数据生成不同的数据集合，例如将不同电磁阀内的液体流量计在不同时刻测量的数据生成一个数据集合；将压力传感器所测量的数据也生成一个数据集合。可以用集合X表示某个传感器所采集数据的集合，将数据集合X随机划分为n个大小相同的数据子集X＝{x₁，x₂，x₃…x_n}。

其中每个子集满足以下条件：