[发明专利]一种基于大数据Hadoop平台ODS自动化同步技术创新方法

说明书

本发明涉及一种基于大数据Hadoop平台ODS自动化同步技术创新方法，其特征在于：具体包含以下步骤：（1）ODS系统自动获取源系统表的结构变更，并发出同步表结构请求；（2）根据系统是否请求同步表结构判断是否执行表结构同步，并决定是立刻执行还是延期执行；（3）ODS系统实施自动化同步。本发明自动化实现ODS数据源新增、修改、数据同步，避免人工误操作导致的数据问题。自动化让ODS开发过程更高效，开发作业更规范，易于管理和维护，实现了版本变更到技术实现的直接映射。

技术领域

本发明涉及ODS自动化同步技术领域，具体涉及一种基于大数据Hadoop平台ODS自动化同步技术创新方法。

背景技术

随着公司业务的发展，多种合作渠道的接入、多元化业务模式的扩展以及核心系统的功能优化，导致源数据频繁变更，如表结构新增、修改、系统切换等。大数据仓库作为下游系统，必须保证完整的业务数据同步接入上线，以快速支撑业务部门的数据分析，这无疑是个巨大的挑战。传统ODS维护方法都是花费大量的工作量和人力成本，依靠人工操作来同步数据源，步骤多且繁琐，一个环节修改失误甚至会导致数据事故，无法保证底层数据稳定可靠。在此背景下急需一种安全、可靠、高效的ODS同步方法。

发明内容

本发明所要解决的技术问题是提供一种基于大数据Hadoop平台ODS自动化同步技术创新方法。

为解决以上技术问题，本发明的技术方案为：提供一种基于大数据Hadoop平台ODS自动化同步技术创新方法，其特征在于：具体包含以下步骤：

（1）ODS系统自动获取源系统表的结构变更，并发出同步表结构请求；

（2）根据系统是否请求同步表结构判断是否执行表结构同步，并决定是立刻执行还是延期执行；

（3）ODS系统实施自动化同步。

进一步的，所述步骤（1）中自动获取源系统表的结构变更，并发出同步表结构请求主要包括以下步骤：

①IT研发人员将涉及变更的表在每月的版本日通过页面方式上报至系统，并对源系统表标注标签，标签分类：常规表、中间表、临时表、备份表；

②ODS系统内部每天定时自动比对ETL系统和源系统表结构，自动捕获异常表，并自动请求同步表结构；

③业务/开发人员或者ETL人员根据业务需求如果发现表结构不同步，通过页面操作方式向ODS系统发出请求同步请求操作。

进一步的，所述步骤（1）中自动获取的结构变更的源系统表包括新增表、删除表、字段长度变更、字段类型修改。

进一步的，所述所述步骤（2）中决定是立刻执行还是延期执行表结构同步的方法为：ODS系统引擎自动根据预先设定的表结构的变更政策，选择合适的时间进行变更，所述变更政策为：

①通过表标签的规则来控制同步机制，如常规表正常同步，中间表和临时表不同步，备份表延迟同步，延迟时间后台配置；

②通过表的白名单和黑名单策略来控制同步机制，如白名单正常同步，黑名单不同步，灰名单延迟同步，延迟时间后台配置；

③通过制定ETL调度和ODS同步的优先级来控制同步机制，当ODS同步之前发现有对应任务实例生成或任务正在执行，延期执行表结构同步，建立任务实例依赖，待任务实例执行结束再执行表结构同步；

④当ODS同步过程中发现有对应任务实例生成，任务实例挂起，待ODS同步结束再触发任务实例继续执行；

⑤若ODS同步过程前后都没有发现对应任务实例生成，则ODS正常执行。

进一步的，所述步骤（3）中实时自动同步包括以下步骤：

①ODS系统执行接入新表；