[发明专利]可配置的异构数据实时同步并可视化的系统及方法

说明书

本发明公开了一种可配置的异构数据实时同步并可视化的系统及方法，该系统包括：元仓子系统模块，存储历史和实时增量元数据信息；历史数据批处理同步子系统模块，获取历史元数据信息并处理，以预设格式存储在预设数据仓库中；实时同步子系统模块，获取实时增量元数据信息并处理完成数据类型转换，存储在预设数据仓库中；可视化大屏子系统模块，将预设数据仓库中的数据和自定义统计指标与可视化大屏进行配置管理；可视化模块，用于将数据展示在大屏上供给用户查看管理。该系统可以对大数据仓库Hive中的实时数据流通过自定义统计指标的形式和统计分析任务结合在一起并和实时大屏绑定，提供数据从线上业务系统到进行大数据统计分析的解决方案。

技术领域

本发明涉及大数据技术领域，特别涉及一种可配置的异构数据实时同步并可视化的系统及方法。

背景技术

关系型数据库和大数据仓库Hive之间的数据同步的解决方案一方面体现在开源产品上：1、Sqoop广泛应用于将离线数据从关系型数据库导入到Hadoop大数据平台中；2、Kettle可以通过时间戳字段对原有全量数据进行排序，并结合中间表记录每次更新的时间戳的方式实现数据实时增量同步。另一方面体现在同行的研究上：1、使用消息中间件来屏蔽两种异构数据库的差异性。比如已经公开的一种基于消息中间件的异构数据库实时同步方法，方法中包括：数据采集模块，根据不同类型的数据源部署不同的数据采集装置进行数据的采集。数据模型模块，将各自采集来的数据进行加工处理并采用Protobuffer技术封装成统一数据模型。持久化模块，将采集模块封装的统一数据模型发送给消息中间件进行持久化。数据处理模块，通过消息处理框架API(应用程序编程接口)从消息中间件中拉取数据，并根据业务规则进行业务处理。

开源同步工具虽然为数据同步提供了强大的功能，但一般需要单独的部署，很难大数据统计分析平台整合在一起。另外，Kettle可以通过时间戳字段对原有全量数据进行排序，并结合中间表记录每次更新的时间戳的方式实现数据实时增量同步，这种方式明显的缺点是：1、对关系型数据源进行IO操作，影响线上业务性能；2、周期性进行数据同步，实时性差。Sqooop主要用来进行离线数据的同步，它的缺点是使用命令行的形式进行同步操作，使用门槛比较高，可用性差。在同行的研究中使用消息系统可以屏蔽异构的数据库的异构性，但没有体现使用的便捷性，以及和具体的统计分析任务整合的便捷性。

为了解决海量数据的分析需求，围绕Hive(统计分析用的，将结构化的数据文件映射为数据表)进行大数据仓库建设并在之上使用HiveQL进行统计分析是业界常用的解决方案，而线上Web业务系统产生的数据一般存储在关系型数据库中，这就需要将关系型数据库中的数据导入到大数据仓库Hive中，对于需要对线上业务产生的最新全量数据进行实时统计分析的用户，同时需要将线上业务产生的增量数据实时数据同步到大数据仓库Hive中。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种可配置的异构数据实时同步并可视化的系统，该系统可以对大数据仓库Hive中的实时数据流通过自定义统计指标的形式和统计分析任务结合在一起，还可以以配置的方式将将统计自定义的统计指标和实时大屏绑定在一起，从而为统计分析人员提供了数据从线上业务系统到进行大数据统计分析的便捷的一栈式解决方案。

本发明的另一个目的在于提出一种可配置的异构数据实时同步并可视化的方法。