[发明专利]一种海洋大数据分类解析与网格化存储方法

说明书

技术领域

本发明涉及一种海洋大数据分类解析、数据预处理和存储方法。

背景技术

随着海洋强国战略不断贯彻和深化，我国涉海产业经济持续稳定、健康发展，对海洋信息汇聚、存储与共享提出日益强烈的需求。特别是对现有海洋数据重新汇聚、处理和存储，有助于形成立体、连续、实时、多要素综合集成观测能力，汇聚海量、多源、多类、多维度、多分辨率的海洋信息要素，满足涉海行业、专业对不同尺度多源异构海洋信息的访问和共享需求；另一方面随着海洋数据不断汇聚、增长，数据规模的量变能够借助多种技术途径转化为信息服务质变，利用海洋大数据挖掘、可视化等技术手段可提高涉海行业决策的科学性和针对性。

海洋大数据报文复杂，且无统一的存储标准，大多数海洋观测系统将传感器传回的报文数据直接本地存储或者解析后存储，没有进行分类解析、剔异、去重、补缺预处理，不适合大规模统一处理；对原始数据进行分类解析等一系列预处理，方便数据后期入库和快速检索。不同海域不同平台的数据相互独立、互不连通，数据共享与使用效率低，信息产品服务保障能力弱，难以满足日益增长的海洋业务需求，需要构建统一存储模型，对数据进行网格化存储、汇聚，实现海洋数据的互联、互通、互操作。因此，开展海洋大数据分类存解析与网格化储技术研究，夯实海洋大数据服务基础，可为多样化海洋应用服务提供数据支撑，同时对于海洋信息化建设具有重要意义。

参考相关国家和行业标准，根据其感知要素将海洋数据分为九大类：海洋目标、海洋活动、海洋水文、海洋气象、海洋灾害、海洋化学、海洋生物、海洋声光电磁、海洋地理；每个海洋信息要素包含多个变量，共同组成海洋大数据池。根据不同感知手段获取的数据类型不同，可将海洋数据分为：视频数据、图像数据、文本数据等。根据数据处理程度，海洋大数据可分三类：原始数据、一次数据和二次数据。其中，原始数据是传感器获取到得最原始的数据，如海洋站数据；原始数据经过实时解析后分层分类标准化整编、预处理后得到可提供为海洋服务提供要素信息的一次数据；对一次数据进行关联分析、转换评估资料同化、联合反演、数据挖掘、环境预警报等典型处理形成的面相分析应用的数据，可提供二次数据产品服务和典型应用服务。高效存储与管理海洋大数据具有重要理论和实践意义。

本发明通过对传感器原始数据进行分类解析获得海洋信息要素，并根据九类海洋数据及感知变量的特征，提出数据网格概念，构建网格映射规则模型实现海量数据的高速有效存储，利用高速缓存技术、数据迁移技术实现缓冲区与磁盘数据交互，实现海洋大数据的存储以及快速调度使用；进而对海洋数据快速组织与检索，完成海洋大数据可视化。提升海洋大数据利用效率。

发明内容

本发明的目的在于提供一种海量海洋数据的分类、解析、建模和存储的技术方法，提升数据处理能力，为海洋大数据的广泛应用提供支撑。

实现本发明的解决方案是：根据海洋感知的数据特征，将海洋观测的各海洋要素的变量看作在时间和空间分布的场，建立海洋数据网格映射规则模型。前端传感器采集的数据先进行解析处理，并将数据分类，经过去重取精等预处理得到整合后海洋数据，根据网格映射规则模型，利用采集数据的位置、海拨、时间等信息，将数据映射到对应存储网格，生成海洋大数据网格，便于海洋数据的快速组织，可快提取海洋观测要素的数据资源。利用高速缓存技术、数据迁移技术实现缓冲区与磁盘数据交互，实现海洋大数据的存储以及快速调度使用；进而对海洋数据快速组织与检索，可为进一步实现数据可视化。

与传统的海洋数据存储和调度使用技术相比，本发明具有显著优点：1.网格映射规则模型可以满足不同数据对象、不同时空的多分辨率存储要求，易于数据可视化。2.相对于原始报文数据本地存储，本方案采集前端传感器数据后，经过分类解析、去重取精处理后，实现对原始数据的清洗过滤形成可为上层服务提供精细有效的基础数据，降低数据冗余度，并且可溯源。3.通过数据场和海洋观测要素的映射关系，可以更加有效地获取感兴趣的多种海洋环境变量，降低相关数据提取的复杂度。4.海洋数据量巨大，传统的方法受物理内存大小限制和磁盘数据读取速度的限制难以满足实时性要求，并且调度效率相对低，本发明采用缓存策略实现内存与磁盘间的数据实时调度。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是海洋数据网格化存储示意图。

图2是网格映射规则模型。

图3是海洋大数据分类解析与存网格化存储方法流程图。

具体实施方式

本发明具体实施方法为：