[发明专利]大数据平台的自动可视化分析方法

说明书

本发明提供了一种大数据平台的自动可视化分析方法，通过对Hadoop大数据平台中，进行离线分析生成的二维关系数据表数据进行抽取，进行离线分析和实时分析，生成关系型二维表，对二维关系表的字段，进行select查询，获取所有表字段列，按照字段以及字段之间的关系进行制图，通过自动化定制界面显示布局，以关系型二维表中的数据为主要呈现的维度，对分析后的数据进行可视化呈现。本发明大大提高了大数据平台，数据价值展现的普遍适应性，通过相关的图表视图直观的展现在用户的眼前，大大提高了数据使用的适应性，降低大数据平台核心业务数据获取的难度；根据业务的需要，自动进行页面布局和图表定制，提高数据分析应用展示的便捷性。

技术领域

本发明涉及云计算以及大数据领域，尤其涉及到大数据平台的自动可视化分析方法，具体需要应用大数据可视化技术和大数据分析方法。

背景技术

现有Hadoop等大数据平台，主要侧重于数据的分布式存储，以及对数据进行离线分析，转变数据的存储格式和内容，试图挖掘数据的内在价值。在这种情况下，只有非常专业的数据专家和技术专家，才能洞悉海量数据的内部关联性，以及数据自身所表达出的实质内涵。严重限制了大数据平台对海量数据进行方便快捷的呈现，每次展示可视化图表都需要进行单独设计单独开发，费时费力，不具有进行自动可视化的方法和途径，影响了对展现多样化海量数据价值的普遍适应性。

申请号为CN201610618277.1的中国专利“一种基于元数据的可视化统计分析方法”本发明公开了一种基于元数据的可视化统计分析方法，主要是通过对元数据进行管理，抽取政府部门现有的数据管理平台或综合的开放数据管理平台。并通过设置筛选条件、设定分组筛选，根据筛选结果制作图表，进行图表分析。

申请号为CN 201611145645.X的中国专利“一种日志数据可视化分析系统及方法”侧重于对服务器中原始日志数据进行压缩处理，以及对hadoop集群将结构化的日志数据生成数据指标，在于将数据指标以界面形式进行监测。

发明内容

针对上述现有技术中的缺陷，本发明要解决的技术问题体现在以下几点：

1)通过自动生成的可视化图表视图形象直观的表达数据的内在关联性。根据用户业务的需求，进行自动化的布局设计，自动化图表定制设计。解决大数据平台海量数据的自动可视化呈现问题；

2)对多种数据源进行分析挖掘和处理，生成统一的易于处理的关系型二维表。运用多种分析方法，获得多种易于呈现，可以直接简明扼要的表达数据内涵的以结构化数据方式存储的数据。并将经过深入分析之后的数据，也统一以关系型二维表的方式进行存储。解决大数据平台对海量数据挖掘分析，获取更多经过分析之后的有价值的数据；

3)目前的大数据发展趋势使得数据可视化成为未来大家所推崇的一种互动展示模式。因此发明在大数据领域，使用统一的接口调用或查询大数据平台的海量数据源，提供进行可视化图表的定制和设计的数据来源。解决自动可视化过程中，大数据平台海量数据访问的统一接口，简易便捷的获取所需的各种数据集。

为了解决上述技术问题，本发明的目的是提供一种大数据平台的自动可视化分析方法。

本发明是根据以下技术方案实现的：

一种大数据平台的自动可视化分析方法，其特征在于，包括如下步骤：

步骤S1：数据预处理:将非结构化数据转变为直接进行查询、分析呈现的关系型二维表数据，进行存储；

步骤S2：数据源的管理和添加：选择数据源的类型，设置新建的数据源名称以及待访问的数据库的用户名密码；

步骤S3：数据集的创建：使用sql查询语句，从数据库表中查询字段，对各个字段进行聚合；