[发明专利]海洋综合数据库的海洋水体环境数据整合方法

说明书

本发明提供了一种海洋综合数据库的海洋水体环境数据整合方法，包括如下步骤：S1，加载海洋水体环境数据文件进行排序，并对排序后的数据文件进行智能排重；S2，对排重后的数据文件进行质量范围的验证，并保存验证结果；S3，解析验证后的数据文件得到数据，存入数据库。本发明海洋水体环境数据整合方法，减少人工作业量、减少操作误差、提升了整合效率，实现海洋水体环境资源的精细化、平台化整合能力。

技术领域

本发明属于数据整合技术领域，尤其是涉及一种海洋综合数据库的海洋水体环境数据整合方法。

背景技术

实现高效、精准的海洋环境数据整合处理，达到海洋环境数据的高效利用，是海洋环境数据整合的重点研究方向。

目前对于各类海洋环境信息数据的汇集、处理方法普遍存在数据质量不高、维度不全面、数据量缺失、可靠性存在偏差等问题。且传统数据的整合方式，均是依据多类需整合资料的原始状态，进行整合方法与规则人工匹配，形成一对一或一对多的数据整合策略，依据ETL等数据整合处理工具进行数据整合流程规则配置，形成数据整合流程，以达到数据整合的目标。因此常常面临人员工作量较大，且面临规则设置有误，经常需要测试调优等窘迫局面。

而针对复杂多类的海洋水体环境资料的高效处理、有序整合的技术目标，本发明从现有处理方案的问题处着手，结合海洋环境的特殊应用场景进行数据整合方法的探索，从人工配置整合规则向装置化处理器方法转换整合技术思路，以减少人工作业量、减少操作误差、提升整合效率为目标，提出了一种海洋综合数据库的海洋水体环境数据整合方法，从而实现海洋水体环境资源的精细化、平台化整合能力。

发明内容

有鉴于此，本发明旨在提出一种海洋综合数据库的海洋水体环境数据整合方法，以规避了人工处理误差，提升了水体环境数据的整合效率。

为达到上述目的，本发明的技术方案是这样实现的：

海洋综合数据库的海洋水体环境数据整合方法，包括如下步骤：

S1，加载海洋水体环境数据文件进行排序，并对排序后的数据文件进行智能排重；

S2，对排重后的数据文件进行质量范围的验证，并保存验证结果；

S3，解析验证后的数据文件得到数据，存入数据库。

进一步的，步骤S1中具体包括：

S11，加载已解析的海洋水体环境数据文件，形成标准格式文件；

S12，对标准格式文件中的数据，依据不同的维度进行排序，排序结果作为智能排重依据；

S13，对排序后的数据文件，根据数据特性的不同采用不同的聚类算法对数据进行分类，对分类数据进行标记，进行智能排重。

进一步的，步骤S2中具体包括：

S21，对智能排重后的每一个数据文件，按数据特性匹配对应的检测方法进行数据的质量检测；

S22，按照质量检测结果对数据进行质量标记。

进一步的，在步骤S3中，将步骤2验证后的数据文件，根据解析配置文件进行格式转换后存入数据库。

相对于现有技术，本发明所述的方法具有以下优势：

本发明海洋水体环境数据整合方法，减少人工作业量、减少操作误差、提升了整合效率，实现海洋水体环境资源的精细化、平台化整合能力。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的整合装置平台的部署示意图；