[发明专利]一种基于大数据和并行计算的水质数学模型优化方法

说明书

本发明特别涉及一种基于大数据和并行计算的水质数学模型优化方法。该基于大数据和并行计算的水质数学模型优化方法，对模型运算需要的海量数据进行分组处理，利用并行计算方式对传统水质数学模型的率定及运算过程进行优化，对计算结果数据进行动态整合和评测，进而达到提高水质数学模型的质量，计算效率和计算结果的精度的目的。该基于大数据和并行计算的水质数学模型优化方法，解决了现有因实测数据不足导致的模型率定及校正问题和超大文件水质数据处理时间长、效率低的问题，不仅能够对足够的实测水文数据进行分组并高效处理，实现了水质数学模型的率定及校正，还解决了超大文件处理困难且效率较低的不足，提高了水质数学模型计算效率。

技术领域

本发明涉及智能水文技术领域，特别涉及一种基于大数据和并行计算的水质数学模型优化方法。

背景技术

随着经济的高速发展，大量的工业和生活废水排入周边水体，超过了水体的自净能力，造成了愈发严重的水体污染。如今，“水质型缺水”已经成为制约地区社会经济发展的主要因素，因而定量化评价和研究水体的水质变化规律，依据其污染特性探讨相应的治理措施，对地区的可持续发展具有非常重要的意义。

目前应用广泛的先进水质数学模型有：

（1）Delft3D：Delft3D比较适用于一些相对规整的浅水湖泊，但可调试的参数相对较少，在一些有针对性的模拟上要进行编程时较为困难。此外，由于模型的简化等因素使模拟结果难免有一定误差，为尽量将误差控制在允许范围之内，需要大量有效的实测数据来对模型进行充分的校核和可行性分析。

（2）WASP5：在模型中，各个“单元体”的各项污染物反应动力学参数默认被是一样的，这就意味着WASP5并不适合于大型河网地区中各河道各项属性值变化比较明显、区域河道基本水质参数差别较大的情况。此外，WASP5模型的计算结果的默认输出是输出所有“单元体”的计算结果，这样不但增加了文件的大小，同时也降低了模型的运算速度提高了计算时间。尤其是在平原河网地区河道数量相当大，如果输出所有的单元体的计算结果，那么计算机运行中的负荷量是很大的。

可见，现有技术中对水质模拟的真实性受限于实测数据的数量和质量，以及水质数学模型的计算性能。

针对上述问题，本发明提出了一种基于大数据和并行计算的水质数学模型优化方法。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于大数据和并行计算的水质数学模型优化方法。

本发明是通过如下技术方案实现的：

一种基于大数据和并行计算的水质数学模型优化方法，其特征在于：包括大数据预处理及储存，分布式计算，模型自动优化和模型调用与服务四部分；首先，对模型运算需要的海量数据进行分组处理，利用并行计算方式对传统水质数学模型的率定及运算过程进行优化，然后对计算结果数据进行动态整合和评测，进而达到提高水质数学模型的质量，计算效率和计算结果的精度的目的。

所述大数据预处理及储存提供Hadoop数据库的数据管理功能，包括数据源连接、建库建表、分区、列族、数据的增删改查和上传下载数据在线管理功能；同时，所述大数据预处理及储存还提供分布式文件系统，实现对结构化数据、半结构化数据和非结构化数据的海量存储。

所述大数据预处理及储存的具体过程是将上传的大量各类河段水质实测数据经过分布式储存系统进行预处理，将数据进行分类划区并对异常值进行删减改查；不同河道的相关实测水文数据经过分组，同一河道内的数据按照时间顺序排列被储存在相同的区域内进行管理，将一些明显错误的异常值进行规则下的删、减、改、查；这些数据经过预处理后被储存在数据库中，通过查询和搜索功能能够将相关水文数据迅速精准地提取出来进行计算分析。

所述分布式计算是指采用Hadoop MapReduce分布式计算引擎对海量数据的分布式计算能力，并实现对计算任务的定义和调度。