[发明专利]数据关系的处理方法及系统在审
| 申请号： | 201910317619.8 | 申请日： | 2019-04-19 |
| 公开（公告）号： | CN110221818A | 公开（公告）日： | 2019-09-10 |
| 发明（设计）人： | 秦晓伟;李建林;彭霖 | 申请（专利权）人： | 新智云数据服务有限公司 |
| 主分类号： | G06F8/30 | 分类号： | G06F8/30 |
| 代理公司： | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人： | 张润 |
| 地址： | 200082 上海*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 脚本 数据关系 解析 元数据管理 管理效率 模型依赖 人员定位 数据变更 数据模型 血缘关系 依赖关系 影响分析 查询 评估 帮助 开发 | ||
1.一种数据关系的处理方法，其特征在于，包括：
获取脚本；
判断所述脚本是否是hive脚本；
在所述脚本是所述hive脚本的情况下，解析所述hive脚本以获得所述hive脚本的模型依赖关系。
2.如权利要求1所述的处理方法，其特征在于，获取脚本，包括：
查询所述脚本的所在路径；
在所述脚本的所在路径不是本地路径的情况下，将所述脚本复制到本地。
3.如权利要求2所述的处理方法，其特征在于，查询所述脚本的所在路径，包括：
通过任务调度器查询所述脚本的所在路径。
4.如权利要求1所述的处理方法，其特征在于，解析所述hive脚本以获得所述hive脚本的模型依赖关系，包括：
解析出所述hive脚本的依赖表和输出表以获得所述模型依赖关系。
5.如权利要求1所述的处理方法，其特征在于，在解析所述hive脚本前，所述处理方法包括：
清洗所述hive脚本。
6.如权利要求5所述的处理方法，其特征在于，清洗所述hive脚本，包括：
过滤所述hive脚本中的注释语句和/或空格。
7.如权利要求1所述的处理方法，其特征在于，所述处理方法包括：
将获取到的所述模型依赖关系导出到数据库。
8.如权利要求1所述的处理方法，其特征在于，所述处理方法包括：
在所述脚本不是所述hive脚本的情况下，判断所述脚本是否是sqoop脚本；
在所述脚本是所述sqoop脚本的情况下，解析所述sqoop脚本以获得sqoop脚本元数据；
读取所述sqoop脚本元数据并将所述sqoop脚本元数据应用于应用层元数据。
9.如权利要求8所述的处理方法，其特征在于，所述处理方法包括：
导出应用了所述sqoop脚本元数据的所述应用层元数据到数据库。
10.一种数据关系的处理系统，其特征在于，包括获取模块、第一判断模块和第一解析模块，所述获取模块用于获取脚本，所述第一判断模块用于判断所述脚本是否是hive脚本，所述第一解析模块用于在所述脚本是所述hive脚本的情况下，解析所述hive脚本以获得所述hive脚本的模型依赖关系。
11.如权利要求10所述的处理系统，其特征在于，所述获取模块用于查询所述脚本的所在路径，及用于在所述脚本的所在路径不是本地路径的情况下，将所述脚本复制到本地。
12.如权利要求11所述的处理系统，其特征在于，所述获取模块用于通过任务调度器查询所述脚本的所在路径。
13.如权利要求10所述的处理系统，其特征在于，所述第一解析模块用于解析出所述hive脚本的依赖表和输出表以获得所述模型依赖关系。
14.如权利要求10所述的处理系统，其特征在于，所述处理系统包括清洗模块，在解析所述hive脚本前，所述清洗模块用于清洗所述hive脚本。
15.如权利要求10所述的处理系统，其特征在于，所述处理系统包括第二判断模块、第二解析模块，所述第二判断模块用于在所述脚本不是所述hive脚本的情况下，判断所述脚本是否是sqoop脚本，所述第二解析模块用于在所述脚本是所述sqoop脚本的情况下，解析所述sqoop脚本以获得sqoop脚本元数据，及用于读取所述sqoop脚本元数据并将所述sqoop脚本元数据应用于应用层元数据。
16.一种数据关系的处理系统，其特征在于，包括处理器和存储器，所述存储器存储有计算机可执行指令，所述处理器用于执行所述指令以实现权利要求1-9任一项所述的处理方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于新智云数据服务有限公司，未经新智云数据服务有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910317619.8/1.html，转载请声明来源钻瓜专利网。
