[发明专利]一种基于ELA大数据驾驶舱技术的系统

说明书

技术领域

本发明属于商务智能实时数据分析技术领域，涉及一种大数据驾驶舱技术的系统，尤其涉及一种基于ELA大数据驾驶舱技术的系统。

背景技术

当今社会是一个信息暴增，数据横飞的世界，随着近些年来大数据热潮的到来，数据的整理、归纳与分析成了人们关注的热点。数据分析是一个专门的学科，它是信息、数据挖掘、数据管理、信息论、认知学、人机交互、图形学、图像处理等多种学科相互交融衍生出的一种分析方法。它的主要优势在于，它既能够充分利用计算机的高计算、高记忆、高存储性能对多维复杂数据集进行存储、计算和处理，将数据转换、映射成图形、图像进行分析，并能从原始数据、挖掘模型、分析结果等多个层面进行可视化展示，开展动态的渐进式人机交互分析，使用户能够依靠肉眼进行数据选择，在数据中发现潜藏的信息并及时做出相对应的行为调整。

当人们认识到数据分析的重要性后，市面上也就随应而出了很多数据分析系统。目前这些系统的数据分析、决策报表生成一般都是采用是BI(Business Intelligence)和BO(Business Object)这两项技术；BI也就是人们常说的商务智能，顾名思义，它是指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值，商务智能主要包括数据挖掘，ETL等技术；BO其实就是商务智能系统下的配套功能，为商务智能系统的报表、查询和分析、绩效管理以及数据集成提供了基础技术构架。其主要是数据呈现技术，包括水晶报表、webReport等。

但是，BI技术主要还是针对传统数据库，如oracle,mysql等，数据量有限，不能满足互联网超大量数据访问的存储和分析计算，因此，在承接第一手用户数据时不能用数据仓库；

而BO技术虽然可以做很漂亮的报表，但开放性不够，使用不够灵活，不能随时随地依据市场数据编辑分析、决策信息，决策滞后。

因此，现有的数据分析系统基本都存在着数据仓库存储容量有限、读取效率低、报表实现过程僵化的问题。这大大影响了用户的试用体验，也使用户的可分析的内容出现了局限性。以上几个问题一直是商务智能实时数据分析技术领域急需解决的技术难题。

发明内容

为了解决背景技术中所存在的技术问题，本发明提出了一种基于ELA大数据驾驶舱技术的系统，有效的解决了数据仓库存储容量有限、读取效率低、报表实现过程僵化的问题，使用户能够方便快捷的获取数据，并且用户通过本系统生成的报表不依赖后台服务逻辑，可灵活呈现。

本发明的技术解决方案是：一种基于ELA大数据驾驶舱技术的系统，其特殊之处在于：数据流流通路径上依次设置有Web服务器、第一Logstash服务器、Redis缓存模块、第二Logstash服务器、ElasticSearch服务器、数据库存储模块、数据分析与处理模块及数据显示模块；

上述Web服务器用于提供基于ELA大数据驾驶舱技术的系统所需要用到的实时Log数据；

上述第一Logstash服务器用于抓取Web服务器提供的实时数据；

上述Redis缓存模块用于将Logstash服务器抓取的实时数据进行暂存；

上述第二Logstash服务器用于将Redis缓存模块中已经暂存的实时数据传送至ElasticSearch服务器；

上述ElasticSearch服务器用于提供搜索功能并将实时数据存储到数据库存储模块；

上述数据库存储模块用于向数据分析与处理模块提供基础分析数据；

上述数据分析与处理模块用于将处理后的基础分析数据传送至数据显示模块；

上述数据显示模块用于向用户显示由高阶决策数据组成图形或图表。

上述ElasticSearch服务器的对外接口为REST式接口。

上述数据分析与处理模块包括依次设置的数据清洗模块、数据转化模块和数据装载模块；上述基础分析数据经过数据清洗模块、数据转化模块和数据装载模块依次处理后形成高阶决策数据。

上述数据分析与处理模块还包括设置在数据装载模块后端的highCharts图表库模块。

上述highCharts图表库模块是基于AngularJS框架下搭建的图表库。

上述数据分析与处理模块通过highCharts图表库模块将处理后得到的高阶决策数据转换2D或3D图形。

上述数据库存储模块是基于mysql数据管理系统下的存储模块。

上述数据显示模块包括若干用于显示图形或文字的自定义显示模块。