[发明专利]数据治理方法及装置

说明书

本发明提供了一种数据治理方法，包括：对数据治理过程中的原始表的字段进行映射处理生成中间表；将所述中间表的字段按照预先绑定的规则进行规则转换生成标准表。在本发明中，在进行标准表处理的时，先不考虑原始表的构成，而是先在标准表的字段上，进行一定会执行的规则的绑定，然后进行原始表对于标准表的映射，从而自动执行所绑定的规则的转换。从而可以大大减少数据治理过程中人工进行规则转换的工作量，提高了数据治理的效率。

技术领域

本发明涉及基于结构化的数据治理领域，具体而言，涉及一种数据治理方法及装置。

背景技术

基于结构化数据的数据治理场景是一种特定的技术场景。其主要表现可以简单地展开为四步：输入原始数据、对原始数据进行治理、治理后的数据融合和输出结果数据。

对原始数据进行治理的过程可以简单地理解为通过对原始数据进行映射和标准化，最终变成目标数据的过程。

映射：目标数据和原始数据的表结构通常是不同的。这是因为目标数据具有特定的业务要求，它所包含的字段通常在最初就已经被业务所决定，因此需要把原始数据的每一个字段，映射到目标数据的对应字段上，若无法映射的则丢弃。

标准化：标准化的过程，则是指把不规范的字段，通过“规则”进行规范化。

经过映射和标准化这两个步骤后，产生规范和结构固定的目标数据。

但是，对于现有的原始数据治理方式，在原始数据和目标数据为1对1映射(即，一个原始数据表只产生一个目标数据表)的时候，该方式是可行的。但是，在实际的场景中，原始数据和目标数据通常是多对多映射的，例如，当多个原始数据表对应到一个目标数据表时，需要进行映射和规则转换的工作量就会根据原始表数据表的数量而大幅增加，从而造成巨大的时间和资源浪费。

发明内容

本发明实施例提供了一种数据治理方法及装置，以至少解决相关技术中在对原始数据进行数据治理的过程中，需要进行映射和规则转换的工作量会基于原始表的数量而大幅增加，从而造成巨大的时间和资源浪费的问题。

根据本发明的一个实施例，提供了一种数据治理方法，包括：对数据治理过程中的原始表的字段进行映射处理生成中间表；将所述中间表的字段按照预先绑定的规则进行规则转换生成标准表。

优选地，在对数据治理过程中的原始表的字段进行映射处理生成中间表之前，还包括：在所述标准表的字段上绑定定会执行的所述规则。

优选地，所述原始表为多个，对数据治理过程中的原始表的字段进行映射处理生成中间表包括：将所述多个原始表中的每个原始表的字段进行映射处理生成多个中间表。

优选地，将所述中间表的字段按照预先绑定的规则进行规则转换生成标准表包括：所述每个中间表均自动按照预先绑定的规则进行规则转换生成所述标准表。

根据本发明的另一个实施例，提供了一种数据治理装置，包括：映射处理模块，用于对数据治理过程中的原始表的字段进行映射处理生成中间表；规则转换模块，用于将所述中间表的字段按照预先绑定的规则进行规则转换生成标准表。

优选地，所述装置还包括：规则绑定模块，用于在所述标准表的字段上预先绑定定会执行的所述规则。

优选地，所述原始表为多个，所述映射处理模块包括：映射单元，用于将所述多个原始表中的每个原始表的字段进行映射处理生成多个中间表。

优选地，所述规则转换模块包括：转换单元，用于将所述每个中间表按照预先绑定的规则进行规则转换生成所述标准表。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。