[发明专利]数据分析作业依赖关系生成方法和系统

权利要求书

1.一种数据分析作业依赖关系生成方法，其特征在于，包括：

获取包含数据处理逻辑参数以对源数据库中数据进行处理的作业生成指令，根据所述作业生成指令生成作业；

根据所述作业生成指令中的数据输入获取源数据库基本信息；

根据所述源数据库基本信息分别在原始库信息库和作业映射信息库的匹配结果，确定所述作业依赖的父结点基本信息及父结点属性；所述原始库信息库包括原始数据库的原始数据库基本信息，所述作业映射信息库包括中间数据库的中间数据库基本信息；所述父结点基本信息包括根据数据类型和依赖日期得到的源数据库名；所述父结点属性包括所述作业依赖的父结点的节点类型；

将所述作业的作业基本信息，所述父结点基本信息和所述父结点属性对应存储，生成所述作业的作业依赖关系映射信息。

2.如权利要求1所述的数据分析作业依赖关系生成方法，其特征在于：所述获取包含数据处理逻辑参数以对源数据库中数据进行处理的作业生成指令，根据所述作业生成指令生成作业的步骤之前，还包括：

将不同类型的数据元按照时间参数进行分区存储形成所述原始数据库；

将所述原始数据库基本信息进行记录，形成所述原始库信息库。

3.如权利要求2所述的数据分析作业依赖关系生成方法，其特征在于：所述根据所述源数据库基本信息分别在原始库信息库和作业映射信息库的匹配结果，确定所述作业依赖的父结点基本信息及父结点属性的步骤之前，还包括：

获取所述作业生成指令中的结果输出对象，当所述结果输出对象为中间数据库时，将所述作业与中间数据库基本信息对应存储，形成所述作业映射信息库。

4.如权利要求3所述的数据分析作业依赖关系生成方法，其特征在于：所述根据所述源数据库基本信息分别在原始库信息库和作业映射信息库的匹配结果，确定所述作业的父结点基本信息及父结点属性的步骤包括：

查询所述原始库信息库内是否存在与所述源数据库基本信息对应的原始数据库基本信息及所述作业映射信息库是否存在与所述源数据库基本信息对应的中间数据库基本信息；

当所述原始库信息库内存在与所述源数据库基本信息对应的原始数据库基本信息时，确定所述作业的父结点基本信息为对应的所述原始数据库基本信息，父结点属性为根结点；

当所述作业映射信息库存在与所述源数据库基本信息对应的中间数据库基本信息时，确定所述作业的父结点基本信息为与对应的所述中间数据库对应的作业的作业基本信息，父结点属性为工作结点。

5.如权利要求1所述的数据分析作业依赖关系生成方法，其特征在于：所述将所述作业的作业基本信息，所述父结点基本信息和所述父结点属性对应存储，生成所述作业的作业依赖关系映射信息的步骤包括：

将所述作业的作业基本信息，所述父结点基本信息和所述父结点属性对应存储，形成以分别与所述源数据库基本信息对应的多条依赖关系为元素的集合，其中每一条依赖关系包括所述作业的作业基本信息、与源数据库基本信息对应的父结点基本信息和父结点属性；

判断所述集合中是否存在循环依赖；

当所述集合中不存在循环依赖时，将所述集合作为所述作业的作业依赖关系映射信息。

6.一种数据分析作业依赖关系生成系统，其特征在于，包括：

作业提交模块，用于获取包含数据处理逻辑参数以对源数据库中数据进行处理的作业生成指令，根据所述作业生成指令生成作业；

解析模块，用于根据所述作业生成指令中的数据输入获取源数据库基本信息；

确定模块，用于根据所述源数据库基本信息分别在原始库信息库和作业映射信息库的匹配结果，确定所述作业依赖的父结点基本信息及父结点属性；所述原始库信息库包括原始数据库的原始数据库基本信息，所述作业映射信息库包括中间数据库的中间数据库基本信息；所述父结点基本信息包括根据数据类型和依赖日期得到的源数据库名；所述父结点属性包括所述作业依赖的父结点的节点类型；

依赖关系生成模块，用于将所述作业的作业基本信息，所述父结点基本信息和所述父结点属性对应存储，生成所述作业的作业依赖关系映射信息。