[发明专利]一种数据处理方法、系统及电子设备和存储介质

说明书

本申请公开了一种数据处理方法、系统及电子设备和存储介质，该方法包括：获取针对ETL作业定义的第一类SQL脚本；对所有第一类SQL脚本进行自动解析，得到作业之间的第一类依赖关系；利用第一自动检测脚本检测第一类依赖关系中是否存在依赖错误，自动检测脚本用于检测依赖关系是否符合基于预设依赖规则；若第一类依赖关系中不存在依赖错误，则发布ETL作业上线，并根据第一类依赖关系生成各作业对应的作业产出表之间的数据血缘关系。由上可知，本申请中用户可以预先并行开发定义作业的SQL脚本，在获取到脚本之后将对其进行自动解析，分析作业之间的第一类依赖关系，并自动检测是否存在依赖错误，在提高工作效率的同时降低了出错概率。

技术领域

本申请涉及计算机技术领域，更具体地说，涉及一种数据处理方法、系统及一种电子设备和一种计算机可读存储介质。

背景技术

ETL，即Extract-Transform-Load，用于描述将数据从来源端经过萃取、转置、加载至目的端的过程。在数据仓库系统中，最初的源端是公司业务系统的业务数据库，目的端是大数据仓库。在实践中ETL 过程还会在大数据仓库系统内部进行多次，用来做数据清洗和数仓分层。执行某个ETL的计算过程叫做ETL作业，所有的ETL作业需要定时按照作业依赖关系进行调度，这整个过程称为ETL作业调度。

在传统的数据开发系统中，在开发有多层依赖的ETL作业任务时需要按照依赖顺序逐次开发，并且需要人工手动指定依赖关系。在修改了ETL脚本时，还需要再次调整依赖关系。上述数据作业开发方式中，按照顺序开发ETL作业需要耗费较多的工作时间，同时人工配置依赖关系时可能会存在失误，有些错误只有在运行时才能发现，而缺失依赖可能导致作业运行没有按照依赖顺序进行，从而引发不易察觉的数据错误。

因此，如何解决上述问题是本领域技术人员需要重点关注的。

发明内容

本申请的目的在于提供一种数据处理方法、系统及一种电子设备和一种计算机可读存储介质，在提高工作效率的同时显著降低了出错概率。

为实现上述目的，本申请提供了一种数据处理方法，包括：

获取针对ETL作业定义的第一类SQL脚本；

对所有所述第一类SQL脚本进行自动解析，得到所述ETL作业之间的第一类依赖关系；

利用第一自动检测脚本检测所述第一类依赖关系中是否存在依赖错误，所述自动检测脚本用于检测依赖关系是否符合基于预设依赖规则；

若所述第一类依赖关系中不存在依赖错误，则发布所述ETL作业上线，并根据所述第一类依赖关系生成各所述ETL作业对应的作业产出表之间的数据血缘关系。

可选的，所述利用第一自动检测脚本检测所述第一类依赖关系中是否存在依赖错误之后，还包括：

若所述第一类依赖关系中存在依赖错误，则返回告警提示信息，所述告警提示信息包括错误出现位置、错误类型和错误描述信息。

可选的，还包括：

获取针对数据接口定义的第二类SQL脚本；

利用第二自动检测脚本对所述第一类SQL脚本和所述第二类SQL 脚本进行自动解析，检测各个数据接口所依赖的所述ETL作业和所述作业产出表是否存在；

如果是，则将所述数据接口发布至联调环境进行联调测试，并在测试通过后发布所述数据接口上线。

可选的，所述利用第二自动检测脚本对所述第一类SQL脚本和所述第二类SQL脚本进行自动解析，检测各个数据接口所依赖的所述 ETL作业和所述作业产出表是否存在，包括：

利用所述第二自动检测脚本对所述第一类SQL脚本和所述第二类 SQL脚本进行语法分析，确定作业与数据接口之间的第二类依赖关系；