[发明专利]过滤数据沿袭图

说明书

管理沿袭信息包括处理有向图以将多个节点(102、104、106)与用于处理数据沿袭表示请求的信息相关联。处理包括：识别所述有向图中与数据存储器中存储的标准化数据元素对应的一个或多个节点(1362、1364、1366)的第一集合，并将从数据存储器中取回的数据元素去标准化；以及将连接至一个或多个节点的第一集合的第一组多个节点(1370、1372、1374)以及连接至一个或多个节点的第一集合的第二组多个节点(1376、1378、1380)与具有多个可能标签值的至少一个标签标识符相关联，其中可能标签值的数量至少与被标准化后的数据元素的数量一样多，其中在去标准化后的记录中表示不同数据元素的节点与所述标签标识符的不同值关联。

相关申请的交叉引用

本申请要求于2015年2月11日提交的序号为62/114,691的美国申请的优先权。

技术领域

本说明书涉及用于过滤数据沿袭(data lineage)图的沿袭标签。

背景技术

在数据处理系统中，某些类型的用户通常期望能够访问贯穿系统的数据沿袭的视觉表示。这样的“数据沿袭图”可以包括系统中的数据和用于处理该数据实体的图形表示以及它们之间的依赖关系。通常，在许多用途中，可以使用这些数据沿袭图来降低风险，验证合规性义务(regulatory compliance obligation)，提高业务流程效率以及保护数据。重要的是数据沿袭图是正确且完整的。

能够产生并显示数据沿袭图的一些系统能够自动呈现端到端的数据沿袭图，这些数据沿袭图示出数据项的表示，并且显示表示了用于消耗或生成这些数据项的处理实体的项的表示。在一些示例中，特定项上游的沿袭路径有时称为该项的“依赖性沿袭(dependency lineage)”，并且特定项下游的沿袭路径有时称为该项的“影响沿袭(impactlineage)”。在其他示例中，特定项上游的沿袭路径被称为“沿袭”或“依赖性”，并且特定项下游的沿袭路径称为“影响”或“影响分析”。如本文所使用的，“数据沿袭图”可以包括相对于任意给定项的上游依赖性沿袭和/或下游影响性沿袭。能够生成并显示数据沿袭图的一些系统允许用户将数据沿袭图中项的逻辑和/或物理组分解成单个元素。能够生成并显示数据沿袭图的一些系统能够通过丰富的数据信息(如数据质量评分)来增强数据沿袭图。

发明内容

在一个方面，通常，一种用于在计算系统中管理沿袭信息的方法，所述方法包括：在数据存储系统中储存有向图的规范，所述有向图的规范包括表示计算的多个节点以及表示在计算执行期间通过计算接收或产生的数据元素的多个节点以及表示计算和数据元素之间的沿袭关系的节点之间的有向链路；使用至少一个处理器处理所述规范，以将多个节点与用于处理数据沿袭表示请求的信息相关联。所述处理包括：识别所述有向图中与数据存储器中存储的标准化数据元素对应的一个或多个节点的第一集合，并将从所述数据存储器中取回的数据元素去标准化，其中将数据元素标准化包括将对应于多个数据元素的记录转换成具有针对至少一个字段的通用格式的多个记录，其中将数据元素去标准化包括将具有针对至少一个字段的通用格式的多个记录转换成对应于多个数据元素的单个记录；以及将通过表示第一沿袭关系的第一有向链路连接至一个或多个节点的所述第一集合的第一组多个节点以及通过表示第二沿袭关系的第二有向链路连接至一个或多个节点的所述第一集合的第二组多个节点与具有多个可能标签值的至少一个标签标识符相关联，其中所述可能标签值的数量至少与被标准化后的数据元素的数量一样多，其中在去标准化后的记录中表示不同数据元素的节点与所述标签标识符的不同值关联。

多个方面可以包括如下特征中的一个或多个。