[发明专利]删除中间层数据的方法、系统和装置

说明书

本发明提供了一种删除中间层数据的方法、系统和装置，其中，所述方法包括：在执行数据加工任务时，根据数据血缘关系，建立具有多个节点的数据血缘关系树型结构图；根据所述血缘关系树型结构图，建立节点之间的父子关系表；记录数据加工完成日志，所述日志至少包括一个或多个完成节点；分析所述数据加工完成日志的完成节点，根据所述完成节点，从所述父子关系表中查询得到所述完成节点的父节点；根据所述父节点查询所述数据加工完成日志；判断所述数据加工完成日志中是否包含了所述完成节点的父节点，如果包含，删除所述完成节点的数据，并从所述数据加工完成日志中删除所述完成节点。本发明在数据加工过程中自动删除中间层数据，释放资源。

技术领域

本发明涉及数据处理技术领域，具体地说，涉及一种在复杂数据加工中，删除中间层数据的方法、系统和装置。

背景技术

在数据仓库、大数据(Big Data)等复杂的数据加工场景中，在将原始数据加工成目标数据的过程中，需要经过若干个中间加工步骤。在加工的过程中，除了数据源与结果数据以外，还会生成各种中间数据，业界通常称之为中间层。

中间层虽然是组成复杂数据加工的一个重要层次，然而，中间层除了利于数据的加工与计算，本身存在的价值并不大，反而会加大数据建设的开销，增加存储与管理成本。如果在数据加工中能删除中间层中不再使用的数据，将为企业节省一大笔用于存储数据的开销，从而减低企业的运营成本。

传统的复杂数据加工遵循逐层加工原则，对数据分层次进行加工，并保留中间加工过程的数据。在部分具体的场景中，当判断中间层已经不再使用时，在加工完成之后，手动在程序里添加数据删除的代码，从而完成中间层的数据删除。

由于大部分时候保留中间层数据，这种情形会导致大量的数据冗余，并且增加中间层模型的管理成本。对于目前删除中间层数据的方法，需要在程序中手动添加删除代码，不够灵活，并且增加了程序维护成本。

发明内容

本发明要解决的技术问题在于，针对现有技术中的不足，提供一种在复杂数据加工中删除中间层数据的方法、系统和装置，在数据加工完成之后自动删除中间层数据，释放资源。

为了解决上述技术问题，根据本发明的一个方面，本发明提供了一种删除数据加工时产生的中间层数据的方法，其中，包括：

在执行数据加工任务时，根据数据血缘关系，建立具有多个节点的数据血缘关系树型结构图；

根据所述血缘关系树型结构图，建立节点之间的父子关系表；

记录数据加工完成日志，所述日志至少包括一个或多个完成节点；

分析所述数据加工完成日志的完成节点，根据所述完成节点，从所述父子关系表中查询得到所述完成节点的父节点；

根据所述父节点查询所述数据加工完成日志；

判断所述数据加工完成日志中是否包含了所述完成节点的父节点，如果包含，删除所述完成节点的数据，并从所述数据加工完成日志中删除所述完成节点。

优选地，所述数据加工完成日志还包括完成节点对应的完成时间。

优选地，所述分析所述数据加工完成日志的完成节点的步骤包括：

按完成节点的完成时间，从完成时间最早的完成节点开始分析。

优选地，血缘关系树型结构图包括多个代表源数据的叶子节点、多个代表中间层数据的中间节点和一个代表目标数据的根节点；

所述数据节点加工完成日志中的完成节点为中间节点或根节点。

优选地，从所述父子关系表中查询所述完成节点的父节点之前，判断所述完成节点是否为根节点，如果不是根节点，查询所述完成节点的父节点，如果是根节点，结束对该完成节点的分析。