[发明专利]大数据治理中实现辅助制定数据标准的系统及方法

说明书

本发明涉及一种大数据治理中实现辅助制定数据标准的系统，包括数据获取模块，用于从第三方数据源中获取所需的元数据；任务创建模块，用于创建对表类型元数据和字段类型元数据的分析任务，对整个任务过程进行监控并记录日志；智能分析模块，用于实现元数据的分词和聚类分析；结果存储及展示模块，用于将信息存入数据库中，通过列表展示元数据信息。本发明还涉及一种基于该系统实现大数据治理中的数据标准辅助制定的方法。采用了该系统及方法，实现了数据源的元数据信息的获取，并支持创建任务及对整个分析过程监控记录，辅助制定该类元数据的数据标准，从而大大降低人力成本，解决了目前人工梳理数据标准不全面，效率低的问题。

技术领域

本发明涉及数据领域，尤其涉及大数据治理领域，具体是指一种大数据治理中实现辅助制定数据标准的系统及方法。

背景技术

随着全球信息化和数字化的发展，各行各业都在进行或即将进行数据治理，根据国际及国内对数据治理的主流理解，数据标准是数据治理中非常重要的组成部分。

但是，在实际数据治理工作开展中，面对一些多年前的存量系统以及建设不规范的系统，没有文档及相关记录描述各系统之间数据的关联性同时针对行业内各厂商已经存在的不同系统数据，要制定小到企业、大到行业的数据标准，无论是企业还是平台建设厂商都面临着重重困难，在数据标准的梳理及制定上耗费大量的人力物力财力，而结果往往却不尽人意。

在数据治理领域，数据标准的制定是非常重要的工作。一般来说，在实际项目实施过程中，数据治理领域的数据标准分为数据项标准及代码项标准，二者之间存在关联。数据标准来源于企业内部数据，同时需要参考国家标准、省市标准、行业标准及企业内部标准进行数据标准的制定，目前大多借由Excel模版，通过人工方式进行梳理数据的关联性和制定数据标准。

针对数据标准的制定，现有技术通常是相关人员参照国家标准、省市标准、行业标准及企业内部标准以及针对企业各部门的调研结果，根据企业数据需求，进行标准的制定。

首先，标准梳理人员制定数据标准的Excel模版。

其次，根据企业的机构职责、系统、数据库等信息，对业务部门及技术部门进行调研。

最后，根据调研结果，梳理企业数据标准，在数据标准梳理过程中，参考国家标准、省市标准、行业标准及企业内部标准。

现有的技术及方法虽然实现了数据标准的制定，但是在大数据时代，特别是面临大量数据的时候，单纯依靠人工梳理往往费时费力，效果也不尽人意。

企业或者政府的数据错综复杂，涉及的行业、领域较多，而各个行业的数据又有其特有的特点，单纯依靠人工梳理，难免会有所遗漏，造成制定的数据标准的缺失或者数据标准的错误，最终将影响数据治理的效果，甚至会影响到企业业务的开展。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种满足效率高、人力成本低、适用范围广泛的大数据治理中实现辅助制定数据标准的系统及方法。

为了实现上述目的，本发明的大数据治理中实现辅助制定数据标准的系统及方法如下：

该大数据治理中实现辅助制定数据标准的系统，其主要特点是，所述的系统包括：

数据获取模块，用于从第三方数据源中获取所需的元数据；

任务创建模块，与所述的数据获取模块相连接，用于创建对表类型元数据和字段类型元数据的分析任务，对整个任务过程进行监控并记录日志；

智能分析模块，与所述的任务创建模块相连接，用于实现元数据的分词和聚类分析；

结果存储及展示模块，与所述的智能分析模块相连接，用于将信息存入数据库中，通过列表展示元数据信息。