[发明专利]一种生态环境空间大数据集成方法

摘要

本发明公开一种生态环境空间大数据集成方法，生态环境数据获取步骤如下：S1、利用网络爬虫获取的网页中与生态环境主题相关的数据；S2、将数据进行清洗和整理，并建立索引存入数据库中；空间地理数据获取步骤如下：L1、直接从地理信息服务器中获取空间地理数据；L2、通过GIS脱密处理方法对L1中获取的空间地理数据进行脱密处理；生态环境空间大数据集成步骤如下：从存入数据库中提取目标数据，并加载到脱密处理后的空间地理数据中，得到集成的生态环境空间大数据。本发明通过脱密处理的空间地理数据既可以满足信息化的实用价值又可以保证涉及国家安全的数据保密，数据集成实现网络化环境信息系统间不同尺度数据交换、传输和共享、数据互操作。

主权项

1.一种生态环境空间大数据集成方法，其特征在于：包括生态环境数据获取步骤、空间地理数据获取步骤，和生态环境空间大数据集成步骤：生态环境数据获取步骤如下：S1、利用网络爬虫从多个初始URL开始下载网页内容，通过搜索策略获取网页中与生态环境主题相关的数据，同时不断从当前页面提取新的URL，根据网页抓取策略放入待抓取URL队列中，循环执行，直至停止，循环结束，其中，生态环境主题相关的数据包括水质监测数据、大气环境监测数据、土壤环境检测数据或/和生态环境污染源信息；S2、将S1中获取的网页中与生态环境主题相关的数据进行清洗和整理，并建立索引存入数据库中；空间地理数据获取步骤如下：L1、直接从地理信息服务器中获取空间地理数据；L2、通过GIS脱密处理方法对L1中获取的空间地理数据进行脱密处理；生态环境空间大数据集成步骤如下：从存入数据库中提取目标数据，并加载到脱密处理后的空间地理数据中，得到集成的生态环境空间大数据。