[发明专利]一种生态环境空间大数据集成方法

说明书

本发明公开一种生态环境空间大数据集成方法，生态环境数据获取步骤如下：S1、利用网络爬虫获取的网页中与生态环境主题相关的数据；S2、将数据进行清洗和整理，并建立索引存入数据库中；空间地理数据获取步骤如下：L1、直接从地理信息服务器中获取空间地理数据；L2、通过GIS脱密处理方法对L1中获取的空间地理数据进行脱密处理；生态环境空间大数据集成步骤如下：从存入数据库中提取目标数据，并加载到脱密处理后的空间地理数据中，得到集成的生态环境空间大数据。本发明通过脱密处理的空间地理数据既可以满足信息化的实用价值又可以保证涉及国家安全的数据保密，数据集成实现网络化环境信息系统间不同尺度数据交换、传输和共享、数据互操作。

技术领域

本发明属于空间数据集成领域，具体涉及一种生态环境空间大数据集成方法。

背景技术

大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态，全面推进大数据发展和应用，加快建设数据强国，已经成为我国的的国家战略。国务院《促进大数据发展行动纲要》等文件要求推动政府信息系统和公共数据互联共享，促进大数据在各行业创新应用；运用现代信息技术加强政府公共服务和市场监管，推动简政放权和政府职能转变，构建“互联网+”绿色生态，实现生态环境数据互联互通和开放共享。

合理的资源利用与良好的区域生态环境是实现社会经济可持续发展的重要基础条件，我国许多地区生态环境脆弱，近年来生态环境恶化的趋势尚未得到有效遏制，以灾害为主要表现形式的的各种生态环境问题对于我国国民经济的长期、稳定发展的制约作用愈加明显，资源环境利用效益降低、区域环境受到不利影响、各种灾害频繁发生等问题受到普遍重视。随着我国人口的持续增长和社会经济的快速发展，对于资源的利用强度不断增大，水土流失、荒漠化土地扩大、天然植被和生物多样性遭到破坏、灾害加剧等一系列资源环境问题仍然存在，在部分地区甚至有加剧趋势。为了逐步实现可持续发展战略，急需对于全国生态环境背景开展多方位数据支持下的空间特征综合研究。

发明内容

为了解决现有技术存在的上述问题，本发明目的在于提供一种生态环境空间大数据集成方法。

本发明所采用的技术方案为：

一种生态环境空间大数据集成方法，包括如下生态环境数据获取步骤、空间地理数据获取步骤，和生态环境空间大数据集成步骤：

生态环境数据获取步骤如下：

S1、利用网络爬虫从多个初始URL开始下载网页内容，通过搜索策略获取网页中与生态环境主题相关的数据，同时不断从当前页面提取新的URL，根据网页抓取策略放入待抓取URL队列中，循环执行，直至停止，循环结束，其中，生态环境主题相关的数据包括水质监测数据、大气环境监测数据、土壤环境检测数据或/和生态环境污染源信息；

S2、将S1中获取的网页中与生态环境主题相关的数据进行清洗和整理，并建立索引存入数据库中；

空间地理数据获取步骤如下：

L1、直接从地理信息服务器中获取空间地理数据；

L2、通过GIS脱密处理方法对L1中获取的空间地理数据进行脱密处理；

生态环境空间大数据集成步骤如下：

从步骤S2中的数据库中提取目标数据，并加载到脱密处理后的空间地理数据中，得到集成的生态环境空间大数据。

所述生态环境主题为生态环境关键词集，生态环境关键词集的获取过程为：

S001、定期地从学术论文网站上获取论文，并将新获取的论文保存在语料库中；

S002、对语料库中各篇论文的词语集进行数值化处理；