[发明专利]一种空间规划的大数据集成方法

说明书

本发明公开了一种空间规划的大数据集成方法，包括以下步骤：构建大数据分析组件模组；构建组件自动化开发集成处理流程；自动化生成组件元信息；进行静态组件代码检测；进行试验结果验证。本发明一种空间规划的大数据集成方法，结合大数据分析工具Haflow，提出了一种大数据分析组件自动化开发集成的方法，方法主要包括组件元信息代码自动生成和开源组件代码的静态检测两方面，利用开源Mahout代码对静态检测算法进行实验验证，根据结果表明，该算法效果较好,能够相对准确地找到开源代码中需要修改的语句,方便开源组件的集成，进而能够加速数据的自动化集成，减小数据集成工作人员的劳动量。

技术领域

本发明涉及空间规划领域，具体为一种空间规划的大数据集成方法。

背景技术

空间规划主要由公共部门使用的影响未来活动空间分布的方法，它的目的是创造一个更合理的土地利用和功能关系的领土组织，平衡保护环境和发展两个需求，以达成社会和经济发展总的目标。

目前，由于空间规划的服务项目众多，数据也较为众多繁杂，现有的大多是数据集成人员人工通过算法进行集成，劳动强度较大，费时费力。因此我们对此做出改进，基于大数据分析工具Haflow，提出一种空间规划的大数据集成方法。

发明内容

为解决现有技术存在的缺陷，本发明提供一种空间规划的大数据集成方法。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明一种空间规划的大数据集成方法，包括以下步骤：

S1：构建大数据分析组件模组；

S2：构建组件自动化开发集成处理流程；

S3：自动化生成组件元信息；

S4：进行静态组件代码检测；

S5：进行试验结果验证。

作为本发明的一种优选技术方案，所述组件模型由三部分构成：组件元信息、组件实体和组件接口，可以表示为V＝(M，E，I)，具体介绍如下：

M为组件元信息：用来定义组件的描述，继承Haflow提供的抽象类来满足其规范，是组件被平台识别和管理的基础；

E为组件实体：是组件功能实现的部分，是集成或者全新开发的算法部分，支持Java、Hive等多种底层异结构平台；

I为组件接口：是组件的输人输出部分,用来满足与其他组件的匹配,将相邻两个组件的匹配转换为中间数据结点的匹配。

作为本发明的一种优选技术方案，所述组件自动化开发集成处理流程为：

首先将Mahout和Weka两种来源的算法集成到平台上称为组件；

然后对Mahout和Weka中的部分单机算法代码进行自动化检测，给出需要修改的片段；

最后修改后的算法本身作为组件实体，连同自动生成的组件元信息按照一定的包组织结构生成Jar包提交到Haflow上，按照以上三步就完成了组件自动化开发集成。

作为本发明的一种优选技术方案，组件元信息自动化生成步骤：

1)首先对元信息文本模板进行解析，得到模板静态和模板动态两部分；

2)模板静态部分可以直接生成组件元信息，模板动态部分经过替换算法后得到替换代码，替换后的代码在生成组件元信息。

作为本发明的一种优选技术方案，所述组件元信息还可以通过元数据信息得到，元数据信息通过替换算法得到替换后的代码，通过替换后的代码在生成组件元信息。