[发明专利]一种数据流可视化方法及装置

说明书

技术领域

本发明属于海量数据处理技术领域，更具体的说，尤其涉及一种数据流可视化方法及装置。

背景技术

在信息科技技术高速发展的大数据时代，各个行业的大数据平台建设往往需要从原有的各个系统中取得数据，为使这些数据得到有效的利用，必须要对数据进行多步加工，例如：数据清洗、建立时间拉链以及进行各类维度建模等。每一步的加工都会产生新的数据，例如：A表与B表经过数据清洗后分别生成了A1表，B1表，A1表和B1表联合加工后生成了C表，C表为满足不同口径的需要又派生出了D表和E表，使得各个行业积累了海量数据。

在处理这些海量数据时，常常会面临一个难题：怎样理清由海量数据组成的错综复杂的蜘蛛网式的数据流，以从数据流的追踪中理清数据来源和去向，从而追踪有问题的数据以及发现数据的变化。比如，如何从一个数据节点向上或向下追踪到所有的父节点和子节点，因此对海量数据进行分析挖掘并发现数据的价值已成为大势所趋。为此本发明提供一种数据流可视化方法及装置，以通过可视化的有向图展示数据节点间的关系，实现对数据来源和去向的自动追踪，便于用户直观查看数据来源和去向。

发明内容

有鉴于此，本发明的目的在于提供一种数据流可视化方法及装置，以通过可视化的有向图展示数据节点间的关系，实现对数据来源和去向的自动追踪，便于用户直观查看数据来源和去向。技术方案如下：

本发明提供一种数据流可视化方法，应用于分布式处理系统中，所述分布式处理系统包括一个汇总服务器和至少一个用于数据存储的存储服务器，所述方法包括：

所述汇总服务器获取每个存储服务器发送的单向关系列表，其中所述存储服务器获取自身存储的所有目标数据节点间的单向关系，得到自身的单向关系列表；

所述汇总服务器从所有单向关系列表中获取同时具有第一方向和第二方向的目标数据节点，将同时具有第一方向和第二方向的目标数据节点间的两条单向关系合并成双向关系，其中第一方向和第二方向为方向相反的两个方向，且所述第一方向和所述第二方向是所述目标数据节点间的单向关系指示的方向；

所述汇总服务器删除所有单向关系列表中重复的单向关系；

所述汇总服务器根据剩余的单向关系和合并得到的双向关系，生成所述分布式处理系统中所有目标数据节点间关系的有向图。

优选地，所述汇总服务器获取自身存储的所有目标数据节点间的单向关系，得到自身的单向关系列表。

优选地，所述汇总服务器获取查找信息，并根据所述查找信息从所述有向图中获取到符合所述查找信息的目标数据节点信息；

根据所述目标数据节点信息，生成与查找信息匹配的节点关系图。

优选地，所述汇总服务器和所述存储服务器获取自身存储的所有目标数据节点间的单向关系，得到自身的单向关系列表，包括：

根据预先设置的节点规则和关系规则，获取数据节点列表和数据节点间关系列表；

从所述数据节点列表中获取存在于所述数据节点间关系列表中的所有目标数据节点；

根据所述数据节点间关系列表指示的各个数据节点间的关系，确定所有目标数据节点间的单向关系，以得到所述单向关系列表。

优选地，所述根据预先设置的节点规则和关系规则，获取数据节点列表和数据节点间关系列表，包括：

根据节点正则表达式和关系正则表达式，获取所述数据节点列表和所述数据节点间关系列表，其中所述节点正则表达式用于指示预先设置的节点规则，所述关系正则表达式用于指示预先设置的关系规则。

本发明还提供一种数据流可视化装置，应用于分布式处理系统中，所述分布式处理系统包括一个汇总服务器和至少一个用于数据存储的存储服务器，所述装置位于所述汇总服务器中，所述装置包括：

获取单元，用于获取每个存储服务器发送的单向关系列表，其中所述存储服务器获取自身存储的所有目标数据节点间的单向关系，得到自身的单向关系列表；

合并单元，用于从所有单向关系列表中获取同时具有第一方向和第二方向的目标数据节点，将同时具有第一方向和第二方向的目标数据节点间的两条单向关系合并成双向关系，其中第一方向和第二方向为方向相反的两个方向，且所述第一方向和所述第二方向是所述目标数据节点间的单向关系指示的方向；

删除单元，用于删除所有单向关系列表中重复的单向关系；

生成单元，用于根据剩余的单向关系和合并得到的双向关系，生成所述分布式处理系统中所有目标数据节点间关系的有向图。