[发明专利]通过Excel对系统之间数据治理的方法

说明书

技术领域   

本发明涉及一种通过Excel对系统之间数据治理的方法。

技术背景

随着国内信息化的高速发展，企业的应用系统越来越多，各个系统间的数据格式、编码都不一致，导致系统之间数据的转换变得异常的困难，在转换的过程中，容易产生编码出错、正确率低、工作效率低下。

发明内容

本发明的目的就是提出一种可以降低大量相似数据的整理工作量，并进一步高效、快速提高数据质量的通过Excel对系统之间数据治理的方法。

本发明的通过Excel对系统之间数据治理的方法，以Excel插件的方式提供一个自动化的转换过程，来解决用户在系统之间数据的转换异常困难的问题，

具体方法涉及访问Excel表、源系统以及其中待治理的源数据、目标系统以及符合其要求的目标数据。它包括五个流程：导出数据、载入模板、数据转换、数据校验、格式化，具体步骤如下：

步骤a：用户先从源系统中按照系统规则格式将待治理的源数据导出到Excel文件中，对于包含这些源数据的Excel文件，以下我们简称为源Excel文件；

步骤b：建立一个Excel插件，此插件功能是提供一个模板参数配置表，在这个模板参数表中配置源Excel文件名、源Excel文件中各个工作簿的名称、源文件列字段、目标文件列字段、语义转换规则、以及校验规则，将此Excel插件装载到普通的Excel表中；对于包含插件并配置完成模板参数配置表的Excel文件，以下我们简称为模板Excel文件；

步骤c：根据上一步配置的源Excel文件名等规则，将源数据从源Excel文件中载入到模板Excel文件中；

步骤d：对于源系统和目标系统中各个列字段的数据语义，按照语义转换规则参数表中的语义转化规则进行转换，以适应目标系统中的语义规则；

步骤e：按照校验规则对转换的数据进行长度、类型、字段的精确度、准确度以及唯一性进行校验；

步骤f：将校验产生的数据进行目标系统的格式化，如去掉字体等Excel自带的文本属性，然后将符合目标系统的目标数据导入到目标系统中。

本发明的通过Excel对系统之间数据治理的方法，它具有以下优点：

1、简单易用：采用Excel的电子表单的作为操作基本界面，最终用户可以快速掌握系统操作，而无须太多培训；

2、普适性：最终用户可以灵活设置数据匹配、语意转换、数据校验、规范格式等规则，针对不同的应用情况，重新设置相应规则，而不需重新开发代码；       

3、高效数据整理：转换过程只需配置相应的参数即可，可以大幅提高数据整理的准确率和工作效率。

具体实施方式

一种通过Excel对系统之间数据治理的方法，具体步骤：

名称解释：

VSTO：Visual Studio Tools for Office；

Extraction @Source：数据抽取；

Transformation ：数据转换；

Verify：数据校验；

Loading @Destination：载入源系统；

本发明包含了系统数据转换的四个过程：从源数据Excel表中抽取有用的字段；通过转换规则对数据中的编码进行转换；对转换的数据进行校验；产生新的目标数据。用如下形式表示完成的功能和应用模块之间的关系：

在Excel数据治理场景转换中定义如下基本操作：

F=(Swp,Mer,Split,Sort,Rep,Fact,Dist,Check)转换函数是这几类函数的集合。其中，Swp是交换函数，属一元操作；Mer是合并操作，将实体a_i和a_j进行合并，并产生a_i+j；Split 是分割操作，是Mer函数的逆操作；Rep是替代函数，将实体a_i替代为a_j；Fact是因式分解操作，将a_i实体分解出a_j；Dist是归并操作，是Fact的逆操作函数；Check是检查操作将检查出不符合规则的数据。

第一部分 数据抽取（Extraction @Source） 

通过Mer、Split操作在参数表中设定相关参数，将数据从源数据表通过合并和拆分源数据将数据抽取到目标表格中。 

第二部分：数据转换（Transformation）