[发明专利]一种敏捷数据分析方法

说明书

本发明公开了一种敏捷数据分析方法，包括挖掘流管理、挖掘流设计、任务调度管理和挖掘流解析运行引擎。本发明中，集成了多种并行化数据挖掘算法，支撑计算密集型大数据环境下不同的业务需求，突破算法在处理数据量、数据维度上的限制，搭建基于内存计算的处理分析引擎，构建敏捷数据分析工具的数据处理分析引擎，满足企业海量数据实时计算、处理的需求，充分发挥大数据计算的能力，敏捷数据分析工具构建”图形化”、“流程式”的全栈式数据开发工作台，提供丰富的图形控件，转变传统编码分析方式，实现完全“零代码”的配置化分析方式，降低数据分析工作的技术门槛，提升数据分析工作效率。

技术领域

本发明涉及数据管理技术领域，尤其涉及一种敏捷数据分析方法。

背景技术

数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程。

21世纪，世界已经进入数据爆炸的时代，从商业公司的企业内部各种管理与运营数据，从个人移动终端到消费电子产品的社会数据，再到互联网产生的海量信息数据等，每天世界上产生的数据量正在飞速增长，由EMC赞助的题为“从混乱中挖掘价值”的IDC“数字宇宙”研究结果表明，2009年数据信息量达到8000亿GB，而2011年将达到1.8ZB，其增长速度超过摩尔定律，IDC预计在2020年，全世界的IT部门都将看到：存储数据的服务器数量将增加10倍(虚拟的和物理的)、有待管理的数据量将增加50倍，根据MGI的统计，全球企业使用的磁盘机数据存储容量，其中80％都是复制数据，以美国为例，美国经济所有领域每个公司都有至少平均200T的存储数据，这些海量数据占用企业大量资源和资金进行存储管理。

然而现有的海量数据如何快速的进行挖掘，进行快速的智能处理，仍存在缺陷，导致企业的数据管理效率降低，以提高数据管理的效率。

发明内容

本发明的目的是为了解决提高数据挖掘中效率的问题，而提出的一种敏捷数据分析方法。

为了实现上述目的，本发明采用了如下技术方案：

一种敏捷数据分析方法，包括以下步骤：

S1：通过数据开发平台进行进行挖掘流的分类；

S2：通过数据挖掘解析运行引擎进行数据挖掘的流程配置；

S2：通过分布式内存计算框架进行内存计算任务。

作为上述技术方案的进一步描述：

所述数据开发平台包括流程设计器模块、算子参数配置模块和任务调度模块；所述数据挖掘解析运行引擎包括数据访问适配模块、数据预处理模块、数据挖掘算法模块和挖掘模型评估模块；分布式内存计算框架基于Apache Spark计算引擎。

作为上述技术方案的进一步描述：

所述挖掘流管理包括挖掘流分类配置模块、挖掘流配置模块和挖掘流导入导出模块；所述挖掘流设计包括数据源模块、组件库模块和模型库模块；所述任务调度管理包括任务管理模块和任务监控模块；所述挖掘流解析运行引擎包括解析运行引擎模块。

作为上述技术方案的进一步描述：

所述敏捷数据分析方法基于SG-UAP平台进行开发，采用Jsp、Html和Echarts技术，构建功能可视化操作界面，用户通过浏览器进行访问。

作为上述技术方案的进一步描述：

所述敏捷数据分析方法基于一体化平台提供的能力进行构建，主要包括操作系统、中间件和关系型数据库。

作为上述技术方案的进一步描述：

所述敏捷数据分析的业务处理在SG-UAP平台进行开发，提供挖掘流设计器，数据挖掘引擎，内存计算引擎，通过“拖拉拽”组件和配置字段转换条件的方式，将代码定制化开发转变成配置开发。