[发明专利]可配置的异构数据实时同步并可视化的系统及方法

摘要

本发明公开了一种可配置的异构数据实时同步并可视化的系统及方法，该系统包括：元仓子系统模块，存储历史和实时增量元数据信息；历史数据批处理同步子系统模块，获取历史元数据信息并处理，以预设格式存储在预设数据仓库中；实时同步子系统模块，获取实时增量元数据信息并处理完成数据类型转换，存储在预设数据仓库中；可视化大屏子系统模块，将预设数据仓库中的数据和自定义统计指标与可视化大屏进行配置管理；可视化模块，用于将数据展示在大屏上供给用户查看管理。该系统可以对大数据仓库Hive中的实时数据流通过自定义统计指标的形式和统计分析任务结合在一起并和实时大屏绑定，提供数据从线上业务系统到进行大数据统计分析的解决方案。

主权项

1.一种可配置的异构数据实时同步并可视化的系统，其特征在于，包括以下步骤：元仓子系统模块，用于存储元数据信息，其中，所述元数据信息包括：历史元数据信息和实时增量元数据信息；历史数据批处理同步子系统模块，用于获取所述历史元数据信息并进行数据批处理，将批处理过的数据以预设格式存储在预设数据仓库中；实时同步子系统模块，用于获取所述实时增量元数据信息进行处理并完成指定数据类型的转换，将处理后的数据存储在所述预设数据仓库中；可视化大屏子系统模块，用于将所述预设数据仓库中的数据和自定义的统计指标与可视化大屏进行配置管理；可视化模块，用于将所述可视化大屏子系统模块进行配置管理后的数据展示在所述可视化大屏上提供给用户查看管理。