[发明专利]一种数据治理方法、装置、电子设备及可读存储介质

说明书

本发明提供了一种数据治理方法、装置、电子设备及可读存储介质，包括：根据所有任务的输入输出关系，获得所有任务的执行顺序；所述输入输出关系为根据一阶段的数据表得到下一阶段的数据表；根据所述执行顺序依次执行各个任务，得到对应阶段的数据表；根据所有阶段的数据表，生成体现数据治理过程的桑基图。本发明大幅减少了人工参与的环节，降低了协作部门的处理要求，提高了整个数据治理的效率；又通过桑基图直观地展示了数据治理中的数据流向，提高了整个数据治理的可视化。

技术领域

本发明涉及数据处理技术领域，尤指一种数据治理方法、装置、电子设备及可读存储介质。

背景技术

随着互联网等信息技术的快速发展，人们可以获得大量的数据。但是这些数据包含的内容杂，使其隐含的数据特征不易被发现，为此需要对这些数据进行分析、优化处理，得到我们所需要的数据。这个过程称为数据治理。

数据治理包括数据的抽取、转换和报表展示，通常需要经过多个串行执行的操作才能得到最终的报表。

现有的数据治理很多仍需要人工方式进行检查和分析数据，还可能需要多个部门进行分工协作，由一个部门完成一部分处理后，再经其他部门在此基础上进一步处理才能得到最终的报表。这种人工分析方式耗时耗力，效率低下；当数据量庞大时，人工操作无法满足需求；多个部门的分工协作又导致数据治理时间长，进一步导致数据治理效率低；当发现最终的报表存在问题时，依靠人工回头查错，查验流程长、效率低。

发明内容

本发明的目的之一是为了克服现有技术中存在的至少部分不足，提供一种数据治理方法、装置、电子设备及可读存储介质。

本发明提供的技术方案如下：

一种数据治理方法，包括：获取每个任务的输入输出关系；根据所有任务的输入输出关系，获得所有任务的执行顺序；根据所述执行顺序依次执行各个任务，得到对应阶段的数据表；根据所有阶段的数据表，生成体现数据治理过程的桑基图。

进一步地，所述的根据所有任务的输入输出关系，获得所有任务的执行顺序，包括：根据所有任务的输入输出关系，获得每个任务的执行依赖；根据每个任务的执行依赖，得到所有任务的执行顺序。

进一步地，所述的根据所有阶段的数据表，生成体现数据治理过程的桑基图，包括：根据所述执行顺序，得到数据表的阶段顺序；以每个阶段为层，以每个阶段的数据表为对应层的节点，按照所述阶段顺序，将多个阶段生成桑基图的多个层。

进一步地，在生成所述桑基图之后，包括：接收查询请求，所述查询请求包括待查询数据表或待查询属性；当收到查询请求时，从所述桑基图中获取与所述查询请求相关的信息并展示。

进一步地，在生成所述桑基图之后，还包括：检查所述桑基图中的数据流动；当出现不符合桑基能量平衡原则的数据流动时，从所述桑基图中获取与所述数据流动相关的信息并告警提示。

本发明还提供一种数据治理装置，包括：关系获取模块，用于获取每个任务的输入输出关系；调度顺序获取模块，用于根据所有任务的输入输出关系，获得所有任务的执行顺序；任务调度模块，用于根据所述执行顺序依次执行各个任务，得到对应阶段的数据表；桑基图生成模块，用于根据所有阶段的数据表，生成体现数据治理过程的桑基图。

进一步地，还包括：查询模块，用于接收查询请求，所述查询请求包括待查询数据表或待查询属性；当收到查询请求时，从所述桑基图中获取与所述查询请求相关的信息并展示。

进一步地，还包括：告警提示模块，用于检查所述桑基图中的数据流动；当出现不符合桑基能量平衡原则的数据流动时，从所述桑基图中获取与所述数据流动相关的信息并告警提示。

本发明还提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于运行所述计算机程序时实现前述的数据治理方法。