[发明专利]一种数据实时同步方法

说明书

本发明公开了一种数据实时同步方法，涉及大数据分析技术领域，该方法包括在业务系统做预处理过程，获取数据信息并最终存入C l i ckhouse节点中，预处理过程包括应用程序拉取数据，获取外部配置参数，同步mongodb集群条件、分页信息以及主键，该方法还包括应用程序依据mongodb集群条件查询拉取的数据，再根据分页信息去mongodb集群查询数据，拉取到最后一条数据时更新查询条件，更新后的数据作为下一个查询的条件，应用程序根据主键的排序，将查询获取的数据写入多个C l i ckhouse‑bu l ck proxy中，最终由C l i ckhouse‑bu l ck proxy将应用程序查询获取的数据写入C l i ckhouse节点中，本发明可以自行定义写入时间，实时性可调控，而且在分页查询下，可以避免数据拥堵查询不出的情况发生。

技术领域

本发明涉及大数据分析技术领域，具体来说，涉及一种数据实时同步方法。

背景技术

随着物联网IOT时代的来临，IOT设备感知和报警存储的数据越来越多，这些需要数据分析师去分析以提取有价值的信息。大数据分析成了非常重要的环节。近两年开启的开源大潮，为大数据分析工程师提供了十分富余的工具。但这同时也增加了开发者选择合适的工具的难度，尤其对于新入行的开发者来说，学习成本，框架的多样化和复杂度成了很大的难题。例如将kafka,hdfs,spark,hive等等组合起来才能产生最后的分析结果。但是，把各种开源框架、工具、库、平台人工整合到一起工作非常复杂。

Clickhouse的出现使得平台简单化和统一化变为现实，Clickhouse是Yandex.Metrica世界第二大Web分析平台而开发的。它是一款用于大数据实时分析的列式数据库管理系统，而非数据库。通过向量化执行以及对CPU底层指令集(SIMD)的使用，它可以对海量数据进行并行处理，从而加快数据的处理速度。很多商业机构纷纷转向Clickhouse,其中有不少是由mongodb转移到Clickhouse。但是，目前而言mongodb转移到Clickhouse并没有很好的同步工具或者方案，传统的都是通过脚本导出json文件然后再导入Clickhouse有很多缺点：

1、效率底下，数据质量得不到保障，耗时长；

2、clichouse不支持高并发，多个脚本同时运行导入可能会导致写入失败。

发明内容

为了克服现有技术的不足，本发明的一种数据实时同步方法，能够自行定义写入时间，实时性可调控，可以避免数据拥堵查询不出的情况发生。

本发明解决其技术问题所采用的技术方案是：一种数据实时同步方法，其改进之处在于，该方法包括在业务系统做预处理过程，获取数据信息并最终存入Clickhouse节点中，预处理过程包括下列步骤：

步骤1，应用程序拉取数据，获取外部配置参数，同步mongodb集群条件、分页信息以及主键；

步骤2，应用程序依据mongodb集群条件查询拉取的数据，再根据分页信息去mongodb集群查询数据，拉取到最后一条数据时更新查询条件，更新后的数据作为下一个查询的条件；

步骤3，根据主键的排序，应用程序将查询获取的数据写入多个Clickhouse-bulckproxy中；

步骤4，Clickhouse-bulck proxy将应用程序查询获取的数据写入Clickhouse节点中。

作为上述技术方案的改进，步骤1中，应用程序依据程序设置定时拉取数据。

作为上述技术方案的进一步改进，步骤2中，根据查询条件，应用程序会初始化mongodb客户端和mongodb集群的交互信息，获取mongodb集群返回的数据。