[发明专利]ETL过程中数据模型统一创建方法和装置

说明书

本发明实施例提供了一种ETL过程中数据模型统一创建方法和装置，方法包括：响应于检测到的数据模型创建指令，获取所述数据模型创建指令对应的数据模型创建参数；基于所述数据模型创建参数和预先存储的数据结构实例创建目标数据结构模型。实现了统一的一键创建数据结构，统一应对多样不同的部署场景，节约人力，进而使得数据处理项目周期快、效率高、避免重复的人工操作及维护。

技术领域

本发明实施例涉及大数据技术领域，尤其涉及一种ETL过程中数据模型统一创建方法和装置。

背景技术

随着医疗信息化建设的稳步发展，医疗数据中心可以为临床、科研、药物研发等领域提供优质的数据服务。其中，医疗数据中心离不开ETL(Extract-Transform-Load)数据处理系统的创建。ETL(Extract-Transform-Load，提取、转换和加载)是大数据重要的一个环节，大数据ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到大数据平台系统后，进行清洗、转换、集成，最后加载到大数据平台、数据仓库或数据集市中，成为联机分析处理、数据挖掘提供决策支持的数据。

在创建ETL数据处理系统之前，基于选择的Hahoop组件的不同，需要在组件数据引擎上创建相应的数据结构模型。使用大数据Hadoop生态下的HBASE、HIVE、HDFS等大数据组件时，业务模型的创建总是需要根据使用的组件的不同而使用不同的语法和创建方式。有更多的组件被使用，就会出现更多的数据结构层，相应的就会有更多维护该层结构。对于开发人员来说，现有的维护方式是手动创建并维护创建脚本，更多的使用传统的文件方式来存储和查看，修改等，都是基于文本文件的内容的修改。因此，现有的方式存在维护效率低，数据模型结构的修改复杂，浪费人力资源的缺陷。

发明内容

本发明实施例提供了一种ETL过程中数据模型统一创建方法和装置，以实现统一创建数据结构，避免重复的人工操作及维护，节约人力。

第一方面，本发明实施例提供了一种ETL过程中数据模型统一创建方法，包括：

响应于检测到的数据模型创建指令，获取数据模型创建指令对应的数据模型创建参数；

基于数据模型创建参数和预先存储的数据结构实例创建目标数据结构模型。

可选的，进一步的，获取数据模型创建指令对应的数据模型创建参数，包括：

获取数据模型创建指令对应的目标应用组件标识，以及目标应用组件标识关联的模型配置信息作为数据模型创建参数。

可选的，进一步的，基于数据模型创建参数和预先存储的数据结构实例创建目标数据结构模型，包括：

根据目标应用组件标识确定待创建数据结构模型；

基于待创建数据结构模型和模型配置信息从预先存储的数据结构实例中创建目标数据结构模型。

可选的，进一步的，基于待创建数据结构模型和模型配置信息从预先存储的数据结构实例中创建目标数据结构模型，包括：

根据待创建数据结构模型从预先存储的数据结构实例中选取目标元素；

根据待创建数据结构模型确定目标元素的定义配置参数，基于模型配置信息调整定义配置参数，得到目标元素的目标配置参数；

基于目标配置参数配置目标元素，得到目标数据结构模型。

可选的，进一步的，基于目标配置参数配置目标元素，包括：

获取目标应用组件标识对应的组件版本标识；

基于组件版本标识确定目标配置方式，通过目标配置方式基于目标配置参数配置目标元素。

可选的，进一步的，基于组件版本标识确定目标配置方式，通过目标配置方式基于目标配置参数配置目标元素，包括：