[发明专利]一种基于Hadoop的无线电环境地图数据处理系统

权利要求书

1.一种基于Hadoop的无线电环境地图数据处理系统，其特征在于，包括：数据导入模块(101)、数据处理模块(102)和数据可视化模块(103)；其中，

数据导入模块(101)：采用Flume海量日志收集技术实时监控并上传通过移动终端设备收集到的海量无线网络环境信息至HDFS分布式文件系统中；

所述数据导入模块(101)采用Flume实时监控并上传通过移动终端设备收集到的海量无线网络环境信息至HDFS分布式文件系统中，包括以下步骤：

步骤201：读取配置文件，获取程序运行参数，在FLUME_HOME/conf目录下，编写Flume的配置文件，命名为flume_first_conf，并将Web服务器中需要监控的指定目录配置为Flume的spoolDir；

步骤202：检查是否有参数错误，如果检测到参数错误，则结束本次数据导入，如果没有检测到参数错误，则继续本次数据导入，即跳转到步骤203；

步骤203：Flume利用自身的组件Source实时监控Web服务器中的指定目录，即通过配置的spoolDir监控指定目录中新文件的变化；

步骤204：监测Web服务器指定目录中是否有新文件产生，如果没有新文件的变化，则继续监测，如果一旦监测到新文件出现，则跳转到步骤205；

步骤205：检测到新文件产生，就解析该新文件的内容，然后写入到Flume的组件Channel进行缓存，组件Sink取出Channel缓存的数据提交到Hadoop集群中的HDFS分布式文件系统中；

步骤206：对Web服务器指定目录下的已经上传的文件打上.COMPLETE后缀，标记该文件已完成上传，下一次不需要重复上传；

数据处理模块(102)：是由若干服务器搭建起来的一个Hadoop分布式数据处理集群，包含数据处理、数据存储两个子模块，数据处理子模块将数据采集模块传来的数据进行包括数据融合、清洗、过滤在内的处理，并统计分析出某时间段某区域内的无线环境信息的变化情况和各个WiFi信道的占用情况；数据存储子模块用于存储原始数据以及经过处理和分析之后的结果，其中Mysql作为基础数据库，HBase作为数据仓库；

数据可视化模块(103)：主要用于无线环境数据的可视化展示，通过调用网络地图，将处理结果中的位置信息与网络地图的位置信息进行映射，并将对应的无线环境的相关信息在地图上显示出来，普通用户也能通过本系统查看某个区域内当前或历史的无线环境状态；

所述数据可视化模块(103)通过调用网络地图，将处理结果中的位置信息与网络地图的位置信息进行映射，并将对应的无线环境的相关信息在地图上显示出来，包括步骤如下：

步骤501：在百度地图API首页注册账号并获取百度地图API秘钥；

步骤502：添加百度地图的API，在网页中加入地图块，用一个id来标记它，添加需要调用的控件以及初始定位的地点；

步骤503：通过JSON读取Mysql中的相关数据，并传值给Javascript中的变量；

步骤504：根据获取到的数据内容，将这些数据中的经纬度信息和百度地图的地理位置信息进行映射；

步骤505：根据步骤504的映射关系，调用相关的函数Heatmap()，根据连接到的WiFi热点的信号强度的信息生成WiFi信号强度热力图；

步骤506：根据步骤504的映射关系，调用BMap.Marker()函数创建标注，并调用map.addOverlay()函数将标注加入到地图中，生成WiFi/GSM/LTE信号信息展示图，点击图中的标注，即可查看当前的无线网络环境状态信息；

步骤507：根据步骤504的映射关系，调用相关的函数BMap.Icon()，生成LTE信号强度分布图，可以从图中看出感知区域内LTE的强弱分布情况，即用颜色的深浅来表征信号的强弱。

2.根据权利要求1所述的基于Hadoop的无线电环境地图数据处理系统，其特征在于，所述Flume主要包括：数据来源Source，数据缓存Channel，数据去向Sink，其中，Source，用于完成对日志数据监控和收集，分成过渡值transtion 和事件event传入到Channel之中；Channel，主要用于提供一个队列的功能，对Source提供中的数据进行简单的缓存；Sink，用于取出Channel中的数据，进行相应的存储文件系统，或者提交到远程服务器。