[发明专利]一种基于Hadoop的无线电环境地图数据处理系统

说明书

本发明请求保护一种基于Hadoop的无线电环境地图数据处理系统，属于数据处理领域。该系统主要包括数据导入模块、数据处理模块和数据可视化模块。数据导入模块利用Flume技术实时监控并上传通过移动终端设备收集到的海量无线网络环境相关数据至HDFS分布式文件系统中；数据处理模块利用Hadoop分布式数据处理集群对这些数据进行清洗过滤、融合等相关处理，并将处理之后的结果存入数据库中；数据可视化模块调用百度地图API将处理结果在地图上进行展示。本发明是一种基于Hadoop的无线电环境地图数据处理系统，能够实现对移动终端收集到的海量无线环境相关数据的处理和可视化展示，方便无线资源的管理和无线网络的优化，普通用户也能通过本系统查看感知区域内当前或历史的无线环境状态。

技术领域

本发明涉及属于数据处理领域，特别涉及一种基于Hadoop的无线电环境地图数据处理系统。

背景技术

近年来，随着无线移动通信技术的发展，信息产业及相关电信、广播、导航、空间、国防等无线电业务得到快速发展。然而，随着无线电台站数量增多、密度加大、地磁环境日益复杂，加之缺乏有效的表征方式和方法，导致日常无线电频谱资源无法直观、准确地进行管理，甚至造成了无线频谱拥塞，从而制约了无线电的发展。无线环境地图(REM，RadioEnvironment Map)的出现则可以有效化解这一难题，它将收集到的无线环境相关数据进行处理和分析之后结合城市电子地图，融合时间、地理信息、频谱、幅度等相关数据，构成一个多维频谱信息地图。

无线环境地图可以直观的反映出真实的无线环境状态，让社会公众感知无线电的存在，并且可以查看某个区域内当前或历史的无线环境信息，无线环境地图还能让管理者直观、清晰地对频谱资源进行管理。同时，网络侧在进行资源重配时，可以借助REM对资源分配的范围、发射功率、天线的角度等参数进行配置，从而优化网络性能，并为无线电管理部门提供一个全新的频谱监管手段。

传统的无线电环境地图数据来源主要是基于已有的数据库或者利用专门的路测设备进行实际收集各种无线参数，这种方式具有感知节点部署成本高、扩展性不强、实时性差等缺点，构建的无线环境地图大多是针对于小范围的、某个特定应用的。而新兴的移动群智感知技术利用普通大众的移动终端设备来进行无线环境数据的收集能有限解决上述问题。在通过移动群智感知方式进行数据收集时，由于单个节点的感知能力有限，需要将感知任务分发给多种终端设备来进行，然后通过对数据的综合处理和分析，得到目标区域的无线电环境地图完整信息。由于数据来自多个不同的移动终端设备，数据规模大、类型多、关系复杂、噪声数据多，如何将这些海量的原始数据进行过滤、存储、融合、分析和可视化展示，是当前需要解决的关键问题。

现有的大数据处理技术已经得到了很多的研究，但是仍然没有一个统一的数据处理框架和单一的技术能够用于多样化的数据集，在数据处理的问题上，必须考虑数据集的特性、需要解决的问题、性能需求和其他因素来合理地选择和设计合适的数据处理方案。本发明设计并实现了一种基于Hadoop的无线电环境地图数据处理系统，实现对移动群智感知方式收集的无线电环境数据的存储、预处理、融合、统计分析以及可视化展示，既可以直观地反映出真实的无线环境状态，让普通用户可以随时查询某区域当前或历史的无线环境信息，也为运营商和无线电相关部门对无线网络资源的优化和管理提供给重要的依据。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种方便无线网络资源的优化和无线环境的管理的基于Hadoop的无线电环境地图数据处理系统。本发明的技术方案如下：

一种基于Hadoop的无线电环境地图数据处理系统，其包括：数据导入模块、数据处理模块和数据可视化模块；其中，

数据导入模块101：采用Flume海量日志收集技术实时监控并上传通过移动终端设备收集到的海量无线网络环境信息至HDFS分布式文件系统中；