[发明专利]数据同步方法及系统

说明书

本发明涉及计算机技术领域，尤其涉及一种数据同步方法及系统，包括：通过查询语句对业务数据库进行查找，获取目标数据；对查询语句进行解析，获取源表和源表过滤条件；根据目标数据的来源表、来源表的字段定义和预设目标表，将待同步数据拷贝到数据仓库中预设目标表处，待同步数据通过将目标数据按照源表过滤条件筛选后得到。本发明实施例中相关工作人员只需要通过查询语句即可实现数据同步，无需其它技术工程师的协助，对工作人员的技术要求较低，提高了数据准备环节的效率；并且按需进行同步，可以减少同步数据量，在提高同步效率的同时，可以降低数据仓库建设的人力投入和硬件投入，从而节约了成本。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据同步方法及系统。

背景技术

关系型数据库，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。用户通过查询来检索数据库中的数据，而查询是一个用于限定数据库中某些区域的执行代码。

数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库是在企业管理和决策中面向主题的、集成的(Integrated)、相对稳定的、反映历史变化的数据集合。也就是说，对所有的应用系统，例如客户关系管理系统、财务系统等，按主题集成，并记录整个历史变化情况。随着企业信息化程度的不断提高，企业内部积累了大量的业务数据，数据仓库用于对这些相互独立、分散的数据进行统一处理，以满足企业高层决策与分析需要。

数据仓库的数据是从原来的分散的数据库数据(mysql等关系型数据库)抽取出来的。数据仓库一般分为三层：ODS(操作数据层)、DW(数据仓库层)和DM(数据集市层)，其中，ODS用于分类存放原始数据，DW用于数据轻度清洗、汇总，DM用于根据分析统计需求一对一建设，深度清洗、汇总。

数据仓库中ODS层的数据同步工作主要就是将各个业务系统的业务数据同步到数据仓库。由于在ODS层建设时缺少明确的分析需求，如果选择全量同步，一些从不使用的数据会占用大量的硬件资源，造成浪费，出于成本考虑，会只同步一部分核心业务数据表，这样又会导致在分析阶段不可避免的出现缺少数据，需要数据仓库同步数据的情况，由于数据同步本身具有较高的技术门槛，分析人员无法独立完成，沟通、实施都会使分析工作延后。

现有的主流的关系型数据库与数据仓库数据同步解决方法为：不断强化ETL(数据仓库技术)工具的能力，提供尽量多的算子，提高需求的响应速度。但是ETL工具本质上是图形化编程工具，需要使用者有编程思想，对于分析人员来说仍然有技术门槛，往往还是由经过培训的数仓人员使用，复杂的数据同步需求甚至需要开发人员来使用。因此此方法对人员技术要求较高。各厂商都提供了ETL工具，如阿里的dataworks，开源的KETTLE。

因此，亟需一种操作简单且高效的针对关系型数据库和数据仓库的数据同步方法。

发明内容

本发明实施例提供一种数据同步方法及系统，以解决目前数据仓库同步操作复杂且效率低的问题。

第一方面，本发明实施例提供一种数据同步方法，包括：

通过查询语句对业务数据库进行查找，获取目标数据，其中，所述业务数据库为关系型数据库；

对所述查询语句进行解析，获取源表和源表过滤条件，其中，所述源表包括所述目标数据、所述目标数据的来源表和所述来源表的字段定义；

根据所述目标数据的来源表、所述来源表的字段定义和预设目标表，将待同步数据拷贝到数据仓库中所述预设目标表处，所述待同步数据通过将所述目标数据按照所述源表过滤条件筛选后得到。

优选地，所述对所述查询语句进行解析，获取源表和源表过滤条件，包括：

通过解析工具，将所述查询语句解析成语法树；