[发明专利]基于数据抽取、数据可视化的查询分析方法及系统

摘要

本发明提供了一种基于数据抽取、数据可视化的查询分析方法及系统，在查询分析方法中包括如下步骤：数据抽取步骤，抽取源端服务器的数据传输至数据分析设备；处理步骤，数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上。本发明的有益效果是：本发明采用直连或者网络连接的方式，连接本地和网络中的数据，经过标准格式转化，将数据转化成可视化的标准模式后进行数据分析、查询与数据挖掘，将非标准化格式的数据转换成统一规范的数据，能够轻松简单的解决大数据环境下的异构数据分析、查询以及挖掘的难题。

主权项

1.一种基于数据抽取、数据可视化的查询分析方法，其特征在于，包括如下步骤：数据抽取步骤，抽取源端服务器的数据传输至数据分析设备；处理步骤，数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上；数据分析设备内置基于ODBC的融合数据库VizQL；查询设备通过数据可视化设备或者公共资源设备进行查询分析；当通过数据可视化设备进行数据查询分析时，数据可视化设备接收到查询设备的查询请求时，根据所要查询的内容，来判断仪表盘的位置，如果仪表盘在数据可视化设备的存储中，发送请求，从数据可视化设备中的存储中获取数据，将数据可视化设备的存储中的数据处理过后反馈给查询设备；当通过公共资源设备进行数据查询分析时，数据分析设备发布仪表盘信息到公共资源设备，通过数据索引管理器，形成新的索引，公共资源设备接收到查询设备的查询请求时，利用搜索引擎，对索引进行筛选，通过筛选索引，检查公共资源设备的缓存，来过滤是否有符合条件的仪表盘信息，如果有，直接以图形、图表的方式反馈给查询设备，如果公共资源设备的缓存中没有符合条件的仪表盘，告知查询设备到数据可视化设备中进行查询；在所述处理步骤中，通过数据清洗步骤、数据集成步骤、数据归约步骤、数据变换步骤对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件；在所述数据清洗步骤中，采用数据滤波的方式对数据进行去噪、去无关数据；在所述数据集成步骤中，采用数据关联的方式，将多个数据源中的数据结合到一个一致的数据存储中；在所述数据归约步骤中，在原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性；在所述数据变换步骤中，利用数据统一标准的方式将原始数据转变成系统可识别的数据。