[发明专利]企业级数据仓库系统的样本数据获取方法及装置

权利要求书

1.一种企业级数据仓库系统的样本数据获取方法，其特征在于，所述的方法包括：

解析企业级数据仓库系统的包括模型关联关系信息的逻辑模型信息，以获取所述的模型关联关系信息；

根据所述的模型关联关系信息生成样本数据抽取配置信息；

根据所述的样本数据抽取配置信息、以及预先设置的抽取参数生成全量抽取脚本；

对所述的全量抽取脚本进行迭代运算以确定全量抽取脚本调度的依赖关系；

根据所述的依赖关系生成基于有向图数据结构的调度文件；

根据所述的调度文件并行调度所述的全量抽取脚本以获取样本数据。

2.根据权利要求1所述的方法，其特征在于，根据所述的调度文件并行调度所述的全量抽取脚本以获取样本数据之后，所述的方法还包括：

如果获取样本数据失败，则记录失败信息；

根据所述的失败信息重新生成全量抽取脚本；

对所述重新生成的全量抽取脚本进行迭代运算以确定新的依赖关系；

根据所述新的依赖关系生成基于有向图数据结构的新调度文件；

根据所述新调度文件并行调度所述重新生成的全量抽取脚本以重新获取样本数据。

3.根据权利要求1所述的方法，其特征在于，解析企业级数据仓库系统的包括模型关联关系信息的逻辑模型信息之后，所述的方法还包括：

查找符合预定规则的模型主题；

根据所述符合预定规则的模型主题获取相应的物理表。

4.根据权利要求3所述的方法，其特征在于，根据所述的样本数据抽取配置信息、以及预先设置的抽取参数生成全量抽取脚本包括：

根据所述预先设置的抽取参数确定所述物理表的样本抽取逻辑；

结合所述的样本数据抽取配置信息和所述物理表的样本抽取逻辑生成所述的全量抽取脚本。

5.根据权利要求1所述的方法，其特征在于，所述根据所述的模型关联关系信息生成样本数据抽取配置信息包括：

根据所述的模型关联关系信息对业务实体进行分类；

根据分类的业务实体分别生成样本数据抽取配置信息。

6.根据权利要求5所述的方法，其特征在于，根据所述的调度文件并行调度所述的全量抽取脚本以获取样本数据包括：

根据不同的模型主题分别配置调度规则；

根据所述的调度文件结合所述的调度规则并行调度所述的全量抽取脚本以获取样本数据。

7.一种企业级数据仓库系统的样本数据获取装置，其特征在于，所述的装置包括：

逻辑模型信息解析单元，用于解析企业级数据仓库系统的包括模型关联关系信息的逻辑模型信息，以获取所述的模型关联关系信息；

配置信息生成单元，用于根据所述的模型关联关系信息生成样本数据抽取配置信息；

抽取脚本生成单元，用于根据所述的样本数据抽取配置信息、以及预先设置的抽取参数生成全量抽取脚本；

依赖关系确定单元，用于对所述的全量抽取脚本进行迭代运算以确定全量抽取脚本调度的依赖关系；

调度文件生成单元，用于根据所述的依赖关系生成基于有向图数据结构的调度文件；

样本数据获取单元，用于根据所述的调度文件并行调度所述的全量抽取脚本以获取样本数据。

8.根据权利要求7所述的装置，其特征在于，所述的装置还包括：

失败信息记录单元，用于在获取样本数据失败时，记录失败信息；

新抽取脚本生成单元，用于根据所述的失败信息重新生成全量抽取脚本；

新依赖关系确定单元，用于对所述重新生成的全量抽取脚本进行迭代运算以确定新的依赖关系；

新调度文件生成单元，用于根据所述新的依赖关系生成基于有向图数据结构的新调度文件；

新样本数据获取单元，根据所述新调度文件并行调度所述重新生成的全量抽取脚本以重新获取样本数据。

9.根据权利要求7所述的装置，其特征在于，所述的装置还包括：

模型主题查找单元，用于在解析所述的逻辑模型信息之后，查找符合预定规则的模型主题；

物理表获取单元，用于根据所述符合预定规则的模型主题获取相应的物理表。