[发明专利]无效数据资源的清除方法、装置、设备及计算机可读介质

说明书

本发明提出一种无效数据资源的清除方法，按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源，若是，则按照无效数据资源对应的清除方式清除无效数据资源，无效数据资源包括无效查询作业、无效计算作业、无效数据存储和无效数据调用中的至少一种。有效清除无效数据资源，避免了在数据分析过程中重复计算作业、无效计算作业、数据存储、数据调用占用资源而导致的资源浪费。本发明还提供了一种无效数据资源的清除装置、一种无效数据资源的清除设备以及一种计算机可读存储介质，具有上述技术效果。

技术领域

本发明涉及计算机领域，涉及一种无效数据资源的清除方法，还涉及一种无效数据资源的清除装置，一种无效数据资源的清除设备以及一种计算机可读存储介质。

背景技术

互联网及其他各行各业中，数据分析被使用的越来越多，尤其对于业务种类繁多的大公司，大公司中的各个部门、各条业务不仅都有数据计算、存储、调用等应用的需求场景，而且会出现数据交叉分析应用。对于这些数据的计算、存储、调用等的应用一旦缺乏有效的管理，就会出现资源的浪费，例如：无效计算、重复计算、无效存储、重复存储、无效调用等。

目前，常规的管理方法是上报后人工梳理，或者是采用内部账单机制的方式进行处理。常规的管理方法主要问题在于：(1)效率低，由于需要人工上报及整理、判断，时效性和效率较差；(2)非自主性，涉及的计算作业、数据存储、数据调用等应用靠业务线自主上报，依赖自觉性无法严格确保合理性；(3)局限性，上报、内部账单机制都具有一定主观性、考察周期也无法做到灵活，具有一定的局限性。

因此，如何避免由于数据分析应用过程中无效的计算、存储、调用等而造成资源浪费，是急需解决的技术问题。

发明内容

本发明实施例提供一种无效数据资源的清除方法，还涉及一种无效数据资源的清除装置，一种无效数据资源的清除设备以及一种计算机可读存储介质，以解决现有技术中的以上技术问题中的至少一个。

第一方面，本发明实施例提供了一种无效数据资源的清除方法，包括：

按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源；

若是，则按照无效数据资源对应的清除方式清除无效数据资源，无效数据资源包括无效查询作业、无效计算作业、无效数据存储和无效数据调用中的至少一种。

结合第一方面，本发明在第一方面的第一实施方式中，按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源，包括：

当数据资源为查询作业时，计算各个所述查询作业之间的相似度；

从所述相似度大于阈值的各查询作业中选择出一个查询作业，将未选择的查询作业确定为无效查询作业。

结合第一方面的第一实施方式，本发明在第一方面的第二实施方式中，按照无效数据资源对应的清除方式清除无效数据资源，包括：

执行选择出的查询作业，得到查询结果；

根据所述查询结果建立公共数据集市表；

删除无效查询作业。

结合第一方面，本发明在第一方面的第三实施方式中，按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源，包括：

当数据资源为数据存储时，扫描各个临时数据存储表；

判断已扫描的所述临时数据存储表是否重复，从重复的临时数据存储表中选择出一个临时数据存储表，将未选择的临时数据存储表确定为无效数据存储。

结合第一方面的第三实施方式，本发明在第一方面的第四实施方式中，按照无效数据资源对应的清除方式清除无效数据资源，包括：