[发明专利]数据治理方法、装置、设备及存储介质

说明书

本发明涉及大数据领域，公开了一种数据治理方法、装置、设备及存储介质。所述数据治理方法包括：对数据仓库内所有源数据进行预处理，所述预处理包括数据标注；根据各源数据对应的数据标签，配置具有多种计算粒度和多种运算规则的指标集，所述指标集中每个指标对应一个或多个数据标签；根据所述指标集中各指标，生成多条计算任务，所述计算任务包括离线计算任务与实时流计算任务；执行各计算任务，以根据各指标对应的计算粒度和运算规则，对各指标对应数据标签的源数据进行计算，得到指标数据；根据预置数据存储规则，对各指标数据进行分类存储。本发明采用标签对源数据进行管理，使得繁多的指标不再无序、单一，指标管理更加方便高效。

技术领域

本发明涉及大数据领域，尤其涉及一种数据治理方法、装置、设备及存储介质。

背景技术

数据治理是指对数据的全生命周期进行管理，包含数据采集、清洗、转换等传统数据集成和存储环节的工作，同时还包含数据资产目录、数据标准、质量、安全、数据开发、数据价值、数据服务与应用等，整个数据生命期而开展开的业务、技术和管理活动都属于数据治理范畴。

随着大数据技术和应用的发展，促使传统行业需要将海量的业务数据向大数据平台迁移，在这个过程中，数据治理的重要性日益明显，通过有效的数据治理可以明显提高数据处理的效率。目前，数据治理一般需要由专业的技术人员来进行数据清洗、去重、映射等一系列的操作，效率不高且容易出错，这不仅对技术人员的技术要求较高，而且对技术人员在业务层面的要求也非常高，不利于传统行业的效率提升。

发明内容

本发明的主要目的在于解决现有数据治理效率低的技术问题。

本发明第一方面提供了一种数据治理方法，所述数据治理方法包括：

对数据仓库内所有源数据进行预处理，所述预处理包括数据标注；

根据各源数据对应的数据标签，配置具有多种计算粒度和多种运算规则的指标集，其中，所述指标集中每个指标对应一个或多个数据标签；

根据所述指标集中各指标，生成多条计算任务，其中，所述计算任务包括离线计算任务与实时流计算任务；

执行所述各计算任务，以根据所述各指标对应的计算粒度和运算规则，对所述各指标对应数据标签的源数据进行计算，得到指标数据；

根据预置数据存储规则，对所述各指标数据进行分类存储。

可选的，在本发明第一方面的第一种实现方式中，所述根据各源数据对应的数据标签，配置具有多种计算粒度和多种运算规则的指标集包括：

获取各源数据对应的数据标签；

分别将各数据标签与预置指标配置规则进行匹配；

若匹配成功，则基于匹配的指标配置规则，将匹配到的数据标签与对应指标绑定；

根据指标配置规则、数据标签与指标的绑定关系，构建各数据标签对应的具有多种计算粒度和多种运算规则的指标集。

可选的，在本发明第一方面的第一种实现方式中，所述根据所述指标集中各指标，生成多条计算任务包括：

获取所述指标集中各指标；

根据所述指标集中各指标，对应生成多条计算任务；

根据各指标的时效要求，确定各计算任务的执行方式，其中，所述执行方式包括离线执行与实时执行。

可选的，在本发明第一方面的第一种实现方式中，所述执行所述各计算任务，以根据所述各指标对应的计算粒度和运算规则，对所述各指标对应数据标签的源数据进行计算，得到指标数据包括：

获取待执行的计算任务；