[发明专利]数据成本计算方法、系统、计算机设备和存储介质

说明书

本发明提供了一种基于数据血缘的数据成本计算方法，通过SQL语句或加工脚本中所包含的SQL语句生成数据血缘关系，所述数据血缘关系形成有向无环图；获取数据平台任务执行的统计信息和频率信息，并对应到有向无环图中；计算有向无环图中目标数据相关的节点的成本和边的成本；获取所述边和节点的成本，并进行累加以得到目标数据总成本。由此，在结合数据血缘关系后，能够更细粒度的计算和展现数据的成本，同时，能够使数据应用的计价方式更为合理。进一步的，企业内外对数据价值的评定提供更加详细、合理的参考，便于最细粒度计算数据的成本，使每条数据的成本都可以被精确量化。同时，本发明还涉及区块链技术。

技术领域

本发明涉及数据处理技术领域，特别是涉及数据成本计算方法、系统、计算机设备和存储介质。

背景技术

现有数据血缘分析程序或系统多用于数据溯源、依赖引用分析等方面，尚未找到与数据成本计算结合使用的案例。当前企业加工存储的数据越来越多，大数据技术获得了广泛的应用，数据加工和存储也消耗了大量的资源，但对应的成本并未能够有效的计算及展示。当前企业内部对于数据成本的计算粒度较大，并不能从更细粒度上体现数据成本的差异，供企业内部管理及相关决策使用。

当前数据的成本大多都是按照加工过程和占用存储资源整体进行统计计算，无法获得表级、字段级或记录级别的成本。在数据成本清晰的情况下，才能在企业内部或外部使用数据时进行合理定价或成本结算。

数据的成本可通过使用相关资源所产生的费用进行计算，但数据加工过程中用到的其它数据也应该算作当前数据的成本，可以有更多视角来评定数据的成本或价值。

发明内容

基于此，本发明提供了一种数据成本计算方法、系统、计算机设备和存储介质，以能够更细粒度的计算和展现数据的成本，同时，能使数据应用的计价方式更为合理。

为实现上述目的，本发明提供一种基于数据血缘的数据成本计算方法，所述数据成本计算方法包括：

获取数据加工过程中使用的SQL语句或者数据加工过程中使用的脚本，并通过SQL语句或加工脚本中所包含的SQL语句生成数据血缘关系，所述数据血缘关系形成有向无环图；

获取数据平台任务执行的统计信息和频率信息，并对应到有向无环图中

计算有向无环图中目标数据相关的节点的成本和边的成本；

获取所述边和节点的成本，并进行累加以得到目标数据总成本。

优选的，所述统计信息包括每次任务的资源使用量，所述资源使用量包括存储用量、CPU用量和内存用量；所述频率信息包括任务的历史执行次数和执行的起止时间。

优选的，根据数据平台的不同，引入数据平台资源使用量的单价参数；在数据成本的计算过程中，所述节点的成本为存储成本，所述边的成本为CPU和内存的成本。

优选的，所述计算有向无环图中目标数据相关的节点的成本包括：∑_idistinct{S_i}+S_k，其中，S_i表示相关节点所占用的存储资源成本，S_k表示目标数据的存储成本；所述计算有向无环图中目标数据相关的边的成本：其中，N_Lp表示与目标数据相关边的数量，X_pq表示每条加工指令每次所消耗的资源的成本，count(L_x)表示每个加工指令对应有向无环图中边的数量。

优选的，所述获取所述边和节点的成本，并进行累加以得到目标数据总成本，包括：其中，C_k表示目标数据总成本。

优选的，所述加工脚本中所包含的SQL语句生成数据血缘关系，所述数据血缘关系形成有向无环图包括：

从含有SQL代码的脚本文件中提取得到规则化的SQL语句，完成对SQL语句的清洗；