[发明专利]一种数据处理方法、装置、设备和存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取数据仓库中的目标数据，所述目标数据是用于描述所述数据仓库中数据模型的元数据；

根据所述目标数据确定所述数据模型的数据价值度；

根据所述目标数据，确定所述数据模型的目标描述信息完整度、模型规范度和数据时效度；

根据所述数据价值度、所述目标描述信息完整度、所述模型规范度和所述数据时效度，对所述数据模型所对应的数据进行处理。

2.根据权利要求1所述的方法，其特征在于，所述目标数据包括模型元数据、调度元数据和任务执行日志；

相应地，根据所述目标数据确定所述数据模型的数据价值度，包括：

根据所述模型元数据和所述调度元数据，确定所述数据模型的连接度；

根据所述任务执行日志确定所述数据模型的活跃度；

根据所述任务执行日志和所述调度元数据，确定所述数据模型的贡献度；

根据所述连接度、所述活跃度和所述贡献度，确定所述数据模型的数据价值度。

3.根据权利要求2所述的方法，其特征在于，根据所述模型元数据和所述调度元数据，确定所述数据模型的连接度，包括：

根据所述模型元数据中所述数据模型对应的服务集市数量、所述调度元数据中所述数据模型所对应的下游层级数量和每个下游层级的子任务数量，确定所述数据模型的连接度。

4.根据权利要求3所述的方法，其特征在于，根据如下公式确定所述数据模型的连接度：

其中，是所述数据仓库中的数据模型的连接度；是数据模型所对应的服务集市数量；是所述数据仓库中的各个数据模型的平均服务集市数量；是数据模型所对应的下游层级数量，是数据模型对应的第个下游层级；是第个下游层级的子任务数量。

5.根据权利要求2所述的方法，其特征在于，根据所述任务执行日志确定所述数据模型的活跃度，包括：

根据所述任务执行日志，确定在预设天数内所述数据模型对应的模型扫描次数；

将所述模型扫描次数与所述预设天数的比值确定为所述数据模型的活跃度。

6.根据权利要求2所述的方法，其特征在于，根据所述任务执行日志和所述调度元数据，确定所述数据模型的贡献度，包括：

根据所述调度元数据，确定从所述数据仓库到目标数据库的推送任务；

根据所述任务执行日志，确定所述推送任务与所述数据模型之间的第一对应关系；

根据所述推送任务推送的目标数据库，以及所述目标数据库与产品之间的第二对应关系，确定所述推送任务与所述产品之间的第三对应关系；

根据所述第一对应关系和所述第三对应关系，确定所述数据模型与所述产品之间的第四对应关系；

根据所述第四对应关系确定所述数据模型所服务的产品数量，并将所述产品数量确定为所述数据模型的贡献度。

7.根据权利要求2所述的方法，其特征在于，根据如下公式，确定所述数据模型的数据价值度：

其中，是所述数据仓库中的数据模型的数据价值度；是数据模型的活跃度；是数据模型的连接度；是数据模型的贡献度。

8.根据权利要求1所述的方法，其特征在于，所述目标数据包括模型元数据和任务执行日志；

相应地，根据所述目标数据，确定所述数据模型的目标描述信息完整度、模型规范度和数据时效度，包括：

根据所述模型元数据确定所述数据模型的目标描述信息完整度和模型规范度；

根据任务执行日志确定所述数据模型的数据时效度。

9.根据权利要求8所述的方法，其特征在于，根据所述模型元数据确定所述数据模型的目标描述信息完整度和模型规范度，包括：

根据所述模型元数据和预设目标描述参数，确定所述数据模型的目标描述信息完整度；

根据所述数据模型所属的数据库名称和模型名称，确定所述数据模型的模型规范度。