[发明专利]一种基于大数据模型平台下的细粒度数据溯源方法

权利要求书

1.一种基于大数据模型平台下的细粒度数据溯源方法，其特征在于，它包括以下步骤：

S1：模型工作流分析，在Hadoop平台下对Oozie引擎所构成的模型工作流的分析；

S2：细粒度溯源定义，以一种递归的形式表示工作流的细粒度数据溯源；

S3：溯源信息捕获，在模型执行过程中，动态地产生并获取溯源信息；

S4：溯源标记存储，对捕获的溯源信息以关联形式在HDFS上存储；

S5：溯源追踪，用来追溯产生结果数据文件中的细粒度数据项的来源输入数据项。

2.根据权利要求1所述的一种基于大数据模型平台下的细粒度数据溯源方法，其特征在于，所述的模型工作流是在Hadoop平台上由控制流节点和动作节点组成的工作流，并由Hadoop Oozie工作流引擎服务器解释执行。

3.根据权利要求1所述的一种基于大数据模型平台下的细粒度数据溯源方法，其特征在于，所述的细粒度溯源定义，通过给定一个大数据平台下的工作流W，并用一个四元组表示为W＝{I,O,M,P}，其中I表示该工作流的输入集，O表示工作流的输出集，M表示工作流中的模型集，P表示工作流的细粒度数据溯源操作。

4.根据权利要求1所述的一种基于大数据模型平台下的细粒度数据溯源方法，其特征在于，所述溯源信息捕获，通过对模型处理框架扩展，并加入溯源信息的产生和传递功能，使在模型执行过程中产生的溯源信息在工作流处理模型中传递。

5.根据权利要求1所述的一种基于大数据模型平台下的细粒度数据溯源方法，其特征在于，所述溯源标记存储，通过使用中间标识来对每个模型的输入和输出项之间建立关联，并将溯源信息的关联以文件的形式存储在HDFS上。

6.根据权利要求1所述的一种基于大数据模型平台下的细粒度数据溯源方法，其特征在于，所述溯源追踪，基于溯源存储文件，并以一种递归的方式对任意结果数据项来追踪产生其的所有相关输入项，溯源追踪的粒度基于行级数据项。

7.根据权利要求1所述的一种基于大数据模型平台下的细粒度数据溯源方法，其特征在于，所述的细粒度溯源定义包括以下子步骤：

S21：单个模型溯源表示：假设工作流中任何一个模型转换表示为T，给定一个转换实例T(I)＝O，输入集为I，单个的输出元素o∈O，细粒度溯源需要能够确定出那些贡献给输出元素o的输入子集

S22：工作流溯源表示：工作流溯源是对当前工作流中涉及到所有模型转换的溯源，并用递归方式表示方式根据单个转换溯源。

8.根据权利要求1所述的一种基于大数据模型平台下的细粒度数据溯源方法，其特征在于，所述的溯源信息捕获包括以下子步骤：

S31：RecordReader扩展：RecordReader的封装器将每次产生的输出键值和相对应的唯一标识一起传递给Mapper；

S32：Mapper扩展：Mapper封装器将传来数据作为输入，并对其分解，将输出键值传递给底层的map函数处理，得到新的输出键值，Mapper封装器将新输出键值和唯一标识一起作为结果并封装为输出；

S33：Reducer扩展：Reducer封装器收到经Mapper封装器处理后的输出后，根据相同的新输出键值进行遍历，并把所有遍历后的键值传递给Reducer，同时Reducer封装器将持久化存储map溯源信息，对于每个Reducer输出，Reducer封装器将map溯源信息和Reducer输出组合后传递给RecordWriter封装器；

S34：RecordWriter扩展：RecordWriter封装器把Reducer封装器处理后的溯源信息作为输入，并通过RecordWriter为每个输出生成一个唯一标识p，最后RecordWriter封装器存储reduce溯源信息。