[发明专利]一种数据存储方法、装置、系统及介质

说明书

本发明公开了一种数据存储方法、装置、系统及介质。该方法应用于同步数据库，步骤包括：预先执行与源系统数据库的数据同步操作，保持与源系统数据库中的数据一致；判断是否满足预设的存储触发条件；如果是，则停止数据同步操作，并将本地的当前数据作为时点数据以供数据仓库获取并存储。由于当同步数据库满足预设的存储触发条件的时候，同步数据库即停止与源系统数据库之间的数据同步操作，因此同步数据库中的数据内容将始终保持为源系统数据库在某一时刻下对应的数据内容，进而数据仓库通过同步数据库获取源系统数据库在某一时刻的数据内容，能够确保数据仓库中所存储的数据的准确性。此外，本发明还提供一种数据存储装置、系统及介质。

技术领域

本发明涉及数据存储领域，特别是涉及一种数据存储方法、装置、系统及介质。

背景技术

一直以来，数据仓库一直是各个大型企业用于做决策分析的平台，传统的数据仓库多应用于如银行、保险公司、能源公司等传统企业中。随着大数据技术的火热，基于Hadoop的新型数据仓库逐渐成为当前的主流的数据仓库形式，Hadoop利用分布式管理的技术体系，将廉价的PC Server等机器和存储整合在一起构成一个具有强大计算能力和存储能力的平台，在该平台上，存储空间能够趋近于无限大，因此有越来越多的企业级数据仓库向着大数据基础的数据仓库转型或者融合传统数据仓库和新型大数据仓库的方向转变。

不论使用什么类型的数据仓库，其最重要的操作是需要对源系统数据库内的数据进行汇总及存储。例如，在当前的应用场景中，各个企业的业务系统，即源系统数据库，往往需要按照一定的周期，如12小时或24小时，在周期结束的时刻将该时刻下的业务数据，即时点数据，以文件的形式提供并存储至数据仓库，此过程中数据的一致性由源系统数据库保证，但是由于源系统数据库中的业务数据是根据业务情况时刻变化的，而源系统数据库中的时点数据完全存储至数据仓库需要一定的处理周期，因此如果在该处理周期内，源系统数据库中尚未存储至数据仓库的业务数据发生了变化，则最终存储至数据仓库的时点数据将出现错误，把本不应该加载到数据仓库的数据加载到了数据仓库中，通常被称为“数据漂移”，而数据仓库作为源系统数据库的一个下游系统，无法保证该份数据的准确性，一旦源系统数据库的数据文件发生变化则无法找回该周期结束时刻正确的时点数据，难以确保数据仓库中所存储的数据的准确性。

由此可见，提供一种数据存储方法，以确保数据仓库中所存储的数据的准确性，是本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种数据存储方法、装置、系统及介质，以确保数据仓库中所存储的数据的准确性。

为解决上述技术问题，本发明提供一种数据存储方法，应用于同步数据库，包括：

预先执行与源系统数据库的数据同步操作，保持与源系统数据库中的数据一致；

判断是否满足预设的存储触发条件；

如果是，则停止数据同步操作，并将本地的当前数据作为时点数据以供数据仓库获取并存储。

优选的，判断是否满足预设的存储触发条件包括：

判断当前时刻是否处于目标时刻点，或判断是否传入有触发指令。

优选的，在预先执行与源系统数据库的数据同步操作，保持与源系统数据库中的数据一致之前，方法还包括：

判断是否同步数据库与源系统数据库之间的SQL语法兼容且源系统数据库中执行的SQL语句未包含有函数；

如果是，则预先执行与源系统数据库的数据同步操作，保持与源系统数据库中的数据一致，包括：

预先通过获取并执行源系统数据库中执行的SQL语句，保持与源系统数据库中的数据一致；

否则，预先执行与源系统数据库的数据同步操作，保持与源系统数据库中的数据一致，包括：