[发明专利]数据关系的处理方法及系统

说明书

本发明公开一种数据关系的处理方法及系统。处理方法包括：获取脚本，判断脚本是否是hive脚本，在脚本是hive脚本的情况下，解析hive脚本以获得hive脚本的模型依赖关系。本发明实施方式的数据关系的处理方法中，通过解析hive脚本来得到hive脚本的依赖关系，如此，可以实现元数据管理与查询，数据模型血缘关系和模型影响分析，帮助开发人员定位和查询问题及数据变更评估，提升了管理效率。

技术领域

本发明涉及计算机数据技术领域，尤其涉及一种数据关系的处理方法及系统。

背景技术

目前，数据地图是元数据(Metadata)管理系统，系统可以清晰展示建模层、贴源层、应用层的数据库结构关系及相应备注，展示着血缘追溯、影响分析展标模型的依赖关系，这样可方便技术人员定位问题。相似模型可以找出重复模型，为优化建模提供参考。

管理Metadata信息的目的，一方面是为了让用户能够更高效的挖掘和使用数据，另一方面是为了让平台管理人员能更加有效的做好系统的维护管理工作。

通过数据的血缘关系，建立起生产这些数据的任务之间的依赖关系，进而辅助调度系统的工作调度，或者用来判断一个失败或错误的任务可能对哪些下游数据造成影响。

然而，业务系统通常涉及不同的数据库，而对于hive数据库来说，hive数据库目前不支持对表添加注释，无法让建模人员洞察整个技术体系的数据库结构信息，只能人工去查询表结构信息。数据建模任务出问题时，只能通过任务调度系统找到对应的脚本，逐一分析影响的建模任务。这样降低了管理效率。

发明内容

本发明的实施方式提供一种数据关系的处理方法及系统。

本发明实施方式的数据关系的处理方法，包括：

获取脚本；

判断所述脚本是否是hive脚本；

在所述脚本是hive脚本的情况下，解析所述hive脚本以获得所述hive脚本的模型依赖关系。

本发明实施方式的数据关系的处理方法，通过解析hive脚本来得到hive脚本的依赖关系，如此，可以实现元数据管理与查询，数据模型血缘关系和模型影响分析，帮助开发人员定位和查询问题及数据变更评估，提升了管理效率。

在某些实施方式中，获取脚本，包括：

查询所述脚本的所在路径；

在所述脚本的所在路径不是本地路径的情况下，将所述脚本复制到本地。

在某些实施方式中，查询所述脚本的所在路径，包括：

通过任务调度器查询所述脚本的所在路径。

在某些实施方式中，解析所述hive脚本以获得所述hive脚本的模型依赖关系，包括：

解析出所述hive脚本的依赖表和输出表以获得所述模型依赖关系。

在某些实施方式中，在解析所述hive脚本前，所述处理方法包括：

清洗所述hive脚本。

在某些实施方式中，清洗所述hive脚本，包括：

过滤所述hive脚本中的注释语句和/或空格。

在某些实施方式中，所述处理方法包括：

将获取到的所述模型依赖关系导出到数据库。

在某些实施方式中，所述处理方法包括：

在所述脚本不是所述hive脚本的情况下，判断所述脚本是否是sqoop脚本；