[发明专利]可视化治理数据的方法及系统

说明书

本申请公开了一种治理数据的方法、系统、计算机设备及存储介质，方法包括：构数据接入步骤：通过数据类接入算子接入数据库；数据治理步骤：通过规则映射算子配置治理过程中的表结构转换和数据格式转换；知识图谱数据融合步骤：通过知识图谱数据融合类算子进行知识图谱数据融合；数据输出步骤：将治理完成的数据结果，输入到指定的业务数据库，通过NEST输出算子定向写入NEST数据库；画布的可视化配置步骤：通过表将上述算子处理好的数据进行落地。本发明能够降低数据治理门槛，用户只需要拖拽和配置必要的参数，可以降低数据治理的技术门槛，让治理人员有更多精力关注治理的业务需求。

技术领域

本发明属于治理数据的方法领域，具体涉及一种可视化治理数据的方法及系统。

背景技术

结构化数据治理是大型数据平台或数据中台中的重要一环，广泛应用于各类项目或数据平台中。

通常有几个主要环节：

1、数据源接入环节

2、数据治理环节

3、治理结果输出环节

而数据治理环节，通常会有几种常见场景：

1、表结构的转换

来自不同的业务系统中，对于人的数据记录内容不同，表结构也有很大差异(如下图所示的表A和表B)，我们在进入平台应用时，需要构建出一张新的表C，或者平台中已经存在表C，将A和B的数据融合到表C中；

2、数据格式的转换

例如表A的日期格式是YYYY-MM-DD，表B的日期格式是YYYY/MM/DD,整合到表C中的时候，就存在格式差异，需要在数据进入到表C之前，基于表C需要的格式，分别对表A和表B的数据格式分别做转换，我们称为【规则】；

数据治理产品核心需要解决上述问题，能够支持批量或实时的数据治理需求，治理过程自动化完成。

【现有方案一】：不使用任何工具产品，根据数据治理需求，casebycase技术开发；

【现有方案二】：一部分工具类产品，将治理环节封装成算子进行可视化配置；(每个算子都是一个技术处理单元)。

【现有方案一】：治理流程不透明，没有复用性，且开发成本高，只有代码，不便于确认业务逻辑，不做赘述更多缺点；

【现有方案二】：全流程是算子的级联，技术处理难度高，且中间结果不落地，如果出现问题，不容易修改；

算子级联类似于算子A＝〉算子B＝〉算子C；

如果算子B的环节出错，后续全部不能运行，且中间结果不落地，逐一排查问题后，需要全流程重跑数据，实际业务中会很耗时或处理量会很大；

区别于此，当前方案是：数据源表1＝〉算子A＝〉表2＝〉算B＝〉表3＝〉算子C＝〉表4；

这种方式，即便算子B的环节出错，算子B之前的表2数据是保留的，只需要排查问题后修改治理逻辑，从表2向后，重跑算子B之后的流程即可，重跑数据量不大，且更快。

发明内容

本申请实施例提供了一种可视化治理数据的方法、系统、计算机存储设备，以至少解决相关技术中主观因素影响的问题。

本发明提供了一种可视化治理数据的方法，其中，包括：

数据接入步骤：通过数据类接入算子接入数据库；

数据治理步骤：通过数据治理算子配置治理过程中的表结构转换和数据格式转换；

知识图谱数据融合步骤：通过知识图谱数据融合类算子进行知识图谱数据融合；