[发明专利]可配置的异构数据实时同步并可视化的系统及方法

权利要求书

1.一种可配置的异构数据实时同步并可视化的系统，其特征在于，包括以下步骤：

元仓子系统模块，用于存储元数据信息，其中，所述元数据信息包括：历史元数据信息和实时增量元数据信息；

历史数据批处理同步子系统模块，用于获取所述历史元数据信息并进行数据批处理，将批处理过的数据以预设格式存储在预设数据仓库中；

实时同步子系统模块，用于获取所述实时增量元数据信息进行处理并完成指定数据类型的转换，将处理后的数据存储在所述预设数据仓库中；

可视化大屏子系统模块，用于将所述预设数据仓库中的数据和自定义的统计指标与可视化大屏进行配置管理；

可视化模块，用于将所述可视化大屏子系统模块进行配置管理后的数据展示在所述可视化大屏上提供给用户查看管理；

所述所述可视化大屏子系统模块包括自定义统计指标模块、可视化大屏配置模块和可视化大屏模块；

所述自定义统计指标模块，用于在实时同步任务的的数据目的地增加了一条数据时，动态反映到自定义的统计指标上，对实时同步的数据任务进行校验，并对实时同步任务的数据进行直观展示；

所述可视化大屏配置模块，用于将所述自定义的统计指标和所述可视化大屏绑定在一起提供一个配置管理界面来更新或预览所述可视化大屏对应的统计指标，并查看所述可视化大屏的相关所述元数据信息；

所述可视化大屏模块，用于配置大屏的实时属性，在实时的可视化大屏时轮询请求接口获取当前大屏的最新的统计指标值，在是非实时的可视化大屏时请求一次接口获得当前最新的统计指标值，最后使用Echart插件进行动态绘图，生成最终的可视化大屏。

2.根据权利要求1所述的可配置的异构数据实时同步并可视化的系统，其特征在于，

所述预设数据仓库通过图形化界面的形式完成所述自定义的统计指标。

3.根据权利要求1所述的可配置的异构数据实时同步并可视化的系统，其特征在于，所述历史数据批处理同步子系统模块进一步用于：

在将批处理过的数据保存到所述预设数据仓库时，将所述预设数据仓库的表格式保存为ORC形式以支持实时数据的插入操作。

4.根据权利要求1所述的可配置的异构数据实时同步并可视化的系统，其特征在于，所述可视化模块进一步用于：

查看数据实时同步任务的任务名称、创建时间、执行状态和实时与非实时任务切换开关的所述元数据信息。

5.一种可配置的异构数据实时同步并可视化的方法，其特征在于，包括：

S1，获取历史元数据信息并进行数据批处理，将批处理过的数据以预设格式存储在预设数据仓库中；

S2，获取实时增量元数据信息进行处理并完成指定数据类型的转换，将处理后的数据存储在所述预设数据仓库中；

S3，将所述预设数据仓库中的数据和自定义的统计指标与可视化大屏进行配置管理；S3进一步包括：

在实时同步任务的的数据目的地增加了一条数据时，动态反映到自定义的统计指标上，对实时同步的数据任务进行校验，并对实时同步任务的数据进行直观展示；将所述自定义的统计指标和所述可视化大屏绑定在一起提供一个配置管理界面来更新或预览所述可视化大屏对应的统计指标，并配置大屏的实时属性，在实时的可视化大屏时轮询请求接口获取当前大屏的最新的统计指标值，在是非实时的可视化大屏时请求一次接口获得当前最新的统计指标值，最后使用Echart插件进行动态绘图，生成最终的可视化大屏；

S4，将S3中配置管理后的数据展示在所述可视化大屏上提供给用户查看管理。

6.根据权利要求5所述的可配置的异构数据实时同步并可视化的方法，其特征在于，

所述预设数据仓库通过图形化界面的形式完成所述自定义的统计指标。

7.根据权利要求5所述的可配置的异构数据实时同步并可视化的方法，其特征在于，S2进一步包括：

在将批处理过的数据保存到所述预设数据仓库时，将所述预设数据仓库的表格式保存为ORC形式以支持实时数据的插入操作。

8.根据权利要求5所述的可配置的异构数据实时同步并可视化的方法，其特征在于，S4进一步包括：

查看数据实时同步任务的任务名称、创建时间、执行状态和实时与非实时任务切换开关的所述元数据信息。