[发明专利]一种生态环境空间大数据集成方法

权利要求书

1.一种生态环境空间大数据集成方法，其特征在于：包括生态环境数据获取步骤、空间地理数据获取步骤，和生态环境空间大数据集成步骤：

生态环境数据获取步骤如下：

S1、利用网络爬虫从多个初始URL开始下载网页内容，通过搜索策略获取网页中与生态环境主题相关的数据，同时不断从当前页面提取新的URL，根据网页抓取策略放入待抓取URL队列中，循环执行，直至停止，循环结束，其中，生态环境主题相关的数据包括水质监测数据、大气环境监测数据、土壤环境检测数据或/和生态环境污染源信息；

S2、将S1中获取的网页中与生态环境主题相关的数据进行清洗和整理，并建立索引存入数据库中；

空间地理数据获取步骤如下：

L1、直接从地理信息服务器中获取空间地理数据；

L2、通过GIS脱密处理方法对L1中获取的空间地理数据进行脱密处理；

生态环境空间大数据集成步骤如下：

从步骤S2中的数据库中提取目标数据，并加载到脱密处理后的空间地理数据中，得到集成的生态环境空间大数据；

所述生态环境主题为生态环境关键词集，生态环境关键词集的获取过程为：

S001、定期地从学术论文网站上获取论文，并将新获取的论文保存在语料库中；

S002、对语料库中各篇论文的词语集进行数值化处理；

S003、将数值化处理结果作为训练样本导入Word2Vec模型进行训练，得到各个词语的词向量；

S004、针对每个词语，分别根据词向量计算该词语与其它各个词语的欧式距离或向量夹角，然后根据计算结果选取欧式距离最近或向量夹角最小的前N个其它词语作为相关词语，得到相关词语集，其中，N为介于20～100之间的自然数；

S005、将词语为“生态环境”的相关词语集作为生态环境关键词集；

在步骤S005后，对生态环境关键词集进行补充，包括以下步骤：

S006、将步骤S002的数值化处理结果作为训练样本导入LDA主题模型进行训练，得到主题-词语矩阵和论文-主题矩阵，其中，所述主题-词语矩阵表示每个主题中出现每个词语的概率，所述论文-主题矩阵表示每篇论文中出现每个主题的概率；

S007、针对所述主题-词语矩阵中的各个主题，选取在对应主题中出现概率最大的前M个词语作为特征词语，得到特征词语集合，同时根据所述论文-主题矩阵获取各个主题的关联主题，其中，M为介于20～100之间的自然数，所述关联主题是指与某个主题共同出现在同一篇论文中的另一共现主题；

S008、针对现有生态环境关键词集合中的各个词语，将其分别作为目标词语，查找到在特征词语集合中包含该目标词语的所有目标主题，以及查找到与各个目标主题对应的目标关联主题；

S009、将所有目标主题和所有目标关联主题中的且不在现有生态环境关键词集合中的词语，添加到现有生态环境关键词集合中；

其中，获取各个主题的关联主题 过程为：

S0071、针对所述论文-主题矩阵中的各个主题，分别计算其与另一主题共同出现在各篇论文中的共现概率之和；

S0072、针对所述论文-主题矩阵中的各个主题，选取对应于其共现概率之和最大的前K个另一主题作为关联主题，其中，K为介于3～10之间的自然数；

其中，步骤S002中对各篇论文的词语集进行数值化处理包括以下步骤：

S0021、对语料库中的所有论文进行切词处理，获取不同的词语，得到所述语料库的总词语集和各篇论文的词语集；

S0022、对所述总词语集中的所有词语进行唯一编码，得到包含有所有词语和与各个词语对应的数字唯一标识的词典；

S0023、根据所述词典将论文词语集中的词语转换为对应的数字唯一标识。