[发明专利]一种面向大数据异构模型的统一动态元数据处理方法

说明书

本发明公开了一种面向大数据异构模型的统一动态元数据处理方法，包括如下步骤：作业任务提交统一动态元数据处理系统，调用数据形态分析模块实现对原始作业任务的数据拦截和分析定位，对于拦截分离的静态数据，所述统一动态元数据处理系统对AST进行扫描，解析作业涉及的核心数据，对于拦截分离的动态数据，通过调用运行时反射机制模块来对这些动态的运行时数据模型实例进行分析获取，同时，基于REPL的交互式解析器和所述运行时反射机制模块进行配合工作，通过上述反射机制模块的共同作用，为进一步利用该机制进行计算作业重构做好准备。本发明具有通用性好、适配性强的特点，有效克服了现有技术中的异构模型间无法高效、便捷的互操作的问题。

技术领域

本发明涉及计算机软件技术领域，具体为一种面向大数据异构模型的统一动态元数据处理方法。

背景技术

大数据计算技术发展突飞猛进，相关的计算、存储和可视化模型层出不穷、不断演进，已经覆盖了从结构化数据、半结构化数据、非结构化数据等各种数据形态以及批处理和流处理等不同的处理模式，多样化的技术发展固然为业务应用的创新带来了更多的手段和可能，但也同样为大数据技术的普及形成了障碍，主要体现在以下几个方面：

不同的(异构)大数据计算存储模型带来的编程和开发技术的复杂性，使得用户在学习和使用过程中有较高的门槛；

基于不同的计算存储模型开发的应用互相之间基本没有互通的可能，从而造成业务数据被迫在系统间频繁迁移复制，降低了应用的效率；

应用和下层计算存储环境的紧耦合，造成应用无法通用化，从而对应用的维护和推广带来诸多的不便；

上述问题的导致原因均是异构模型间无法高效、便捷的互操作。

发明内容

本发明的目的在于提供一种面向大数据异构模型的统一动态元数据处理方法，实现了异构模型间的高效、便捷的互操作，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种面向大数据异构模型的统一动态元数据处理方法，包括如下步骤：

S1：作业任务提交统一动态元数据处理系统；

S2：调用数据形态分析模块实现对原始作业任务的数据拦截和分析定位；

S3：对于拦截分离的静态数据，所述统一动态元数据处理系统对AST进行扫描，解析作业涉及的核心数据；

S4：对于拦截分离的动态数据，通过调用运行时反射机制模块来对这些动态的运行时数据模型实例进行分析获取，同时，基于REPL的交互式解析器和所述运行时反射机制模块进行配合工作；

S5：通过上述反射机制模块的共同作用，为进一步利用该机制进行计算作业重构做好准备。

优选的，所述作业任务为原始计算或存储模型相关的计算存储任务。

优选的，所述元数据获取系统由数据形态分析模块、编译时反射机制模块、运行时反射机制模块和交互式解析器组成。

优选的，所述静态数据包括业务数据模型和计算规则。

优选的，所述动态数据包括中间数据模型和用户动态配置的业务参数。

与现有技术相比，本发明的有益效果是：

本发明实现的基于多层反射机制模块的统一动态元数据处理系统，对大数据异构模型的互操作提供了关键能力支撑，具有通用性好、适配性强的特点，有效克服了现有技术中的异构模型间无法高效、便捷的互操作的问题。

附图说明

图1为本发明的系统图；

图2为本发明的流程图。

具体实施方式