[发明专利]一种数据处理方法和装置

说明书

本公开提供一种数据处理方法和装置，涉及互联网技术领域，以至少解决现有技术中的数据处理方法确定出的待删除数据不准确的问题。该数据处理方法包括：获取多个任务数据之间的依赖关系和每个任务数据的热度；其中，依赖关系由与任务数据对应的任务的执行顺序确定，任务数据的热度用于表征任务数据在预设时间段内被查询的次数；根据依赖关系和每个任务数据的热度，确定多个任务数据中的待删除数据；删除多个任务数据中的待删除数据。

技术领域

本公开涉及互联网技术领域，尤其涉及一种数据处理方法和装置。

背景技术

随着数据架构的重构和设备的长时间使用，设备中将会产生大量的冷数据(读写频率较低的数据)和临时数据(临时存放的数据)，这些数据会持续占用计算和存储资源，使得设备的边际成本(边际成本指的是每一新增生产的产品或者购买的产品带来的总成本的增量)越来越高。为了解决这一问题，现有技术通过根据数据的热度(数据的读写频率反映数据的热度)确定待删除数据，并删除待删除数据，以降低边际成本。

上述方法是基于数据的热度来确定待删除数据的。但是，在实际过程中，大多数数据之间是相互依赖的，一个热数据(读写频率较高的数据)的生成可能需要依赖一个冷数据。若采用上述数据处理方法对数据进行处理，热数据依赖的冷数据也会被命中。这样，将会导致确定出的待删除数据不准确。此外，若删除热数据依赖的冷数据，还会引发热数据的错误。

发明内容

本公开提供一种数据处理方法和装置，以至少解决现有技术中的数据处理方法确定出的待删除数据不准确的问题。本公开的技术方案如下：

根据本公开的第一方面，提供一种数据处理方法，该数据处理方法包括：获取多个任务数据之间的依赖关系和每个任务数据的热度，并根据依赖关系和每个任务数据的热度，确定多个任务数据中的待删除数据。之后，删除多个任务数据中的待删除数据。其中，依赖关系由与任务数据对应的任务的执行顺序确定，任务数据的热度用于表征任务数据在预设时间段内被查询的次数。

可选的，上述“根据依赖关系和每个任务数据的热度，确定多个任务数据中的待删除数据”的方法，包括：获取依赖关系中不存在后继任务数据的目标任务数据，并根据目标任务数据的热度，确定多个任务数据中的待删除数据。其中，目标任务数据对应的目标任务执行顺序位于后继任务数据对应的后继任务之前。

可选的，在上述依赖关系通过有向图表示，且目标任务数据为有向图中出度为零的任务数据的情况下，上述“根据目标任务数据的热度，确定多个任务数据中的待删除数据”的方法包括：从目标任务数据中，获取热度小于预设阈值的任务数据，并将获取到的任务数据确定为多个任务数据中的待删除数据。

可选的，在上述“删除多个任务数据中的待删除数据”之后，该数据处理方法还包括：从依赖关系中，去除多个任务数据中的待删除数据，并更新依赖关系。之后，若确定剩余任务数据中存在目标任务数据，则根据目标任务数据的热度，确定剩余任务数据中的待删除数据，并删除剩余任务数据中的待删除数据。

可选的，上述：“获取多个任务数据之间的依赖关系”的方法，包括：获取与多个任务数据对应的多个任务之间的执行顺序，并根据多个任务之间的执行顺序，生成有向图。

其中，有向图包括多个有向边和多个任务数据；在有向图中，一个有向边的始端对应第一任务数据，一个有向边的末端对应第二任务数据，第一任务数据对应第一任务，第二任务数据对应第二任务，第二任务的执行顺序位于第一任务的后一个位置。

根据本公开的第二方面，提供一种数据处理装置，该数据处理装置包括获取模块、确定模块以及处理模块。获取模块，被配置为执行获取多个任务数据之间的依赖关系和每个任务数据的热度。确定模块，被配置为执行根据获取模块获取到的依赖关系和每个任务数据的热度，确定多个任务数据中待删除数据。处理模块，被配置为执行删除多个任务数据中的待删除数据。其中，依赖关系由与任务数据对应的任务的执行顺序确定，任务数据的热度用于表征任务数据在预设时间段内被查询的次数。