[发明专利]一种空间规划的大数据集成方法

权利要求书

1.一种空间规划的大数据集成方法，其特征在于，包括以下步骤：

S1：构建大数据分析组件模组；

S2：构建组件自动化开发集成处理流程；

S3：自动化生成组件元信息；

S4：进行静态组件代码检测；

S5：进行试验结果验证。

2.根据权利要求1所述的一种空间规划的大数据集成方法，其特征在于，所述组件模型由三部分构成：组件元信息、组件实体和组件接口，可以表示为V＝(M，E，I)，具体介绍如下：

M为组件元信息：用来定义组件的描述，继承Haflow提供的抽象类来满足其规范，是组件被平台识别和管理的基础；

E为组件实体：是组件功能实现的部分，是集成或者全新开发的算法部分，支持Java、Hive等多种底层异结构平台；

I为组件接口：是组件的输人输出部分,用来满足与其他组件的匹配,将相邻两个组件的匹配转换为中间数据结点的匹配。

3.根据权利要求1所述的一种空间规划的大数据集成方法，其特征在于，所述组件自动化开发集成处理流程为：

首先将Mahout和Weka两种来源的算法集成到平台上称为组件；

然后对Mahout和Weka中的部分单机算法代码进行自动化检测，给出需要修改的片段；

最后修改后的算法本身作为组件实体，连同自动生成的组件元信息按照一定的包组织结构生成Jar包提交到Haflow上，按照以上三步就完成了组件自动化开发集成。

4.根据权利要求1所述的一种空间规划的大数据集成方法，其特征在于，组件元信息自动化生成步骤：

1)首先对元信息文本模板进行解析，得到模板静态和模板动态两部分；

2)模板静态部分可以直接生成组件元信息，模板动态部分经过替换算法后得到替换代码，替换后的代码在生成组件元信息。

5.根据权利要求1所述的一种空间规划的大数据集成方法，其特征在于，所述组件元信息还可以通过元数据信息得到，元数据信息通过替换算法得到替换后的代码，通过替换后的代码在生成组件元信息。

6.根据权利要求1所述的一种空间规划的大数据集成方法，其特征在于，所述替换算法将文本模板中带有$符号的变量被替换成参数键值对中实际值,按照底层平台模型不同分别选择继承不同的类。

7.根据权利要求1所述的一种空间规划的大数据集成方法，其特征在于，所述静态组件代码检测包括以下步骤：

1)从处理args的函数作为人口,跟踪args中保存输人或输出路径的变量被传递到的函数和变量；

2)根据变量类型以及对其的相关处理判断这些变量是目标输人输出变量的可能性；

3)将可能是目标变量的作为“污染”变量；

4)进一步跟踪,发现“污染”变量作为参数的函数,且函数返回值是InputStream、OutputStream、Reader、Writer及其子类,且函数调用是第三方类库中的函数或者初始化构造函数时,报警该行；

5)重复步骤2)、步骤3)和步骤4)，直到算法分析完。

8.根据权利要求1所述的一种空间规划的大数据集成方法，其特征在于，所述静态代码检测组件还包括以下辅助步骤，如通过Scene用来保存整个分析发生的场景,可以设置要分析的包含main函数的类和应用类,以及采用过程间还是过程内分析。SootClass是装入Soot中的单个类,而SootMethod是类中的一个方法,Body是存储SootMethod的实现代码,Unit是Body中具体的语句,UnitsChain是Body中Units组成的链,UnitGraph表示一个具体方法生成的控制流图,Unit有多种类型。