[发明专利]基于Hadoop的作物生长监控云平台及其实现方法

说明书

技术领域

本发明涉及Hadoop云数据处理技术和无线传感器网络技术，具体是一种基于Hadoop云数据处理技术和无线传感器网络技术的作物生长监控云平台及其实现方法。

背景技术

目前的作物生长远程监控系统主要分为两种形式：一种是采用无线传感器网络对多个传感器阵列的数据进行采集，使用串口通信利用计算机直接在田间或采集点进行数据处理，进而通过计算机发送到网站服务器上实现远程监控；另一种采用微处理器进行每单个点传感器数据采集，通过GPRS等网络通信技术将数据发送到服务器进行监控。对于方式1，直接在采集点布置计算机，造成成本的增加，不利于扩大系统的应用推广范围，且传感器与计算机接口较复杂。对于方法2，采集点个数有限，采集点数量动态伸缩性复杂。对服务器压力较大，硬件利用率较低。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于Hadoop的作物生长监控云平台及其实现方法。本系统传感器数据采集部分基于无线传感器网络WSN技术，解决了传感器阵列和数据采集点数量的动态伸缩问题；数据存储采用Hadoop云数据处理平台，解决了大量数据的存储和检索问题，缩减了传统方式下数据存储受制于关系型数据库的性能的情况，改善了大规模数据下数据库对数据计算与索引的响应性能，减少了大规模传感器数据存储和检索时的反应时间。

本发明所采用的技术方案是：1、一种基于Hadoop的作物生长监控云平台，包括：

数据采集终端，用于采集作物生长过程中的环境指标,由作为结点控制器的STC89C52RC微控制器分别与传感器阵列、ZB-GPS模块连接构成；多个数据采集终端通过SMAC协议自组织成的无线传感器网络WSN；

Hadoop平台，包括主机NameNode和从机DataNodes，主机NameNode上运行网络上位机，接收来自WSN的不同位置的作物生长环境数据，拆包并将当日数据存储到主机NameNode上的关系型数据库，前日数据导出为文件提交给HDFS由从机DataNodes进行存储。

一种权利要求1所述的基于Hadoop的作物生长监控云平台实现方法，步骤如下：

第一步：作为结点控制器的STC89C52RC微控制器分别与传感器阵列、ZB-GPS模块连接构成作物生长监控云平台的数据采集终端；

第二步：多个数据采集终端通过SMAC协议自组织成无线传感器网络WSN，数据采集终端采集不同位置的作物生长环境数据，这些数据通过WSN内中继结点转发到云平台的主机NameNode上；

第三步：云平台的主机NameNode上运行网络上位机，接收来自WSN的不同位置的作物生长环境数据，拆包并将当日数据存储到主机NameNode上的关系型数据库，前日数据导出为文件提交给Hadoop的HDFS进行存储；

第四步：在主机NameNode上建立网站，用于查询HDFS存储的历史数据、关系型数据库中存储的当日数据和各项环境数据指标的历史数据走势图。

主机NameNode获取用户通过网站发送的数据或曲线查询请求，分发任务到HDFS，由从机DataNodes对存储到不同位置的文件镜像块进行恢复，从而获取历史数据。反馈到网站中。网站通过JSP语言展示浏览界面，借助jchart插件实现各项环境数据指标的历史数据走势图。用户通过手机等联网设备，在线查询该云平台所监测的各终端实时数据和历史数据走势图等。

本发明与现有技术相比，其显著优点：通过无线传感器网络技术，扩大了作物生长监控数据采集点范围，包括传感器的种类和采集点的数量。动态改变作物生长监测数据采集点数量，不影响系统的稳定性。通过以传感器阵列形式布置的数据采集终端，扩展了环境传感器的种类。另外，本发明实现了对海量传感器历史数据的云存储功能。云平台的数据采集终端传感器在运行时产生大量有效的历史数据信息，通过Hadoop云平台进行存储，提高了数据存储能力，优化了海量数据的检索速度；同时采用与关系型数据库存储当日信息的数据存储方式相结合的方式，实现了传感器数据存储方式的优化。兼顾了系统成本的节约与系统性能体验。

附图说明

图1为本发明的系统整体框架结构图。

图2为传感器数据文件在Hadoop集群内的存储和恢复图。

具体实施方式

本发明从技术实现和功能逻辑上划分为三个层面：作物生长监测云平台的数据采集层，大量云数据存储层和作物生长信息查询监控层。