[发明专利]快速解析多源海洋业务化观测数据的方法

说明书

本发明提供了一种快速解析多源海洋业务化观测数据的方法，包括如下步骤S1，接收多源海洋业务化观测数据的原始数据文件，根据智能识别规则进行分类，采用构建的多驱动并行规则窗口按照分类结果分别转发到解析器的不同解析窗口；S2，解析窗口根据配置信息解析原始数据文件，得到标准数据；S3，对标准数据文件进行验证，批量加载存入数据库。本发明方法解决了数据处理技术在特定应用场景中解析速度的问题，同时采用复杂配置规则算法，完成对窗口中的数据计算、排重质控以降低数据计算与存储耗费计算资源的情况。

技术领域

本发明属于数据处理技术领域，尤其是涉及一种快速解析多源海洋业务化观测数据的方法。

背景技术

海洋环境观测是获取各种海洋环境因素数据的核心方法，而海洋环境观测平台、系统的多样化，海洋观测仪器获取的业务数据种类繁多、格式类型各异，这些均为海洋环境观测业务数据的综合分析、利用带来了一定的难度。随着近些年对海洋观测业务的深入，海洋环境观测技术的进步，以及设备平台的增加，出现了海洋环境观测数据量越来越大，海洋观测数据格式样式越来越多，以及国内外数据文件存储格式的各异，这些均对海洋业务化观测数据的分析、利用提出了更高的挑战。

目前对于数据的处理多集中于数据预处理技术与方法的研究，是针对采集数据的缺失值、重复值等特性进行处理，去除唯一属性、处理缺失值、属性编码、特征选择、主成分分析等通用处理方法。而海洋业务化观测数据存在多源、多类型、多格式、专业性等特征，现有针对海洋业务化数据的处理方法也多集中于传统预处理方法在纵向学科的深入应用，存在如下问题：现有处理方法针对多源数据采用分服务处理策略，无法做到多源处理需求的自动化识别，缺少统一化快速处理能力。现有处理方法仅针对去重、缺失等预处理内容，无法满足专业领域复杂数据转换算法的融合需求。

发明内容

有鉴于此，本发明旨在提出一种快速解析多源海洋业务化观测数据的方法，以实现解析效率的提升。

为达到上述目的，本发明的技术方案是这样实现的：

一种快速解析多源海洋业务化观测数据的方法，包括如下步骤：

S1，接收多源海洋业务化观测数据的原始数据文件，根据智能识别规则进行分类，采用构建的多驱动并行规则窗口按照分类结果分别转发到解析器的不同解析窗口；

S2，解析窗口根据配置信息解析原始数据文件，得到标准数据；

S3，对标准数据文件进行验证，批量加载存入数据库。

进一步的，在步骤S1中具体包括如下步骤：

S11，识别原始数据文件的数据类别及来源，并配置标签；

S12，依据标签通过智能识别规则对原始数据文件进行分类；

S13，采用多驱动并行规则窗口根据分类结果调度分发链路，推送到解析器的解析窗口；其中，所述多驱动并行规则窗口在创建过程中调度多线程并行消费模式，实现并行技术融合，实现调度多驱动、多窗口，形成并行算法调度能力。

进一步的，在步骤S12中，若判断原始数据文件不符合智能识别规则，则将原始文件备份到指定目录并进行告警。

进一步的，在步骤S2中，所述配置信息包含解析规则配置、复杂算法配置、算法与解析的优先级规则配置；其中，

解析规则配置是针对海洋观测数据的特殊性进行对应的解析规则构建，形成解析规则集；

复杂算法配置是依据各业务数据的解析需求，在通常解析规则的基础上，增加算法解析的步骤。

进一步的，在步骤S3中，通过输出器接收到输出触发命令，并判断是否符合校验标准要求，若符合标准要求则存入数据库，并同时触发移除解析窗口命令，返回输出成功记录；若不符合要求，则打标机并返回解析流程。