[发明专利]一种任意数据混合优化的大规模处理分析系统

说明书

本发明公开了一种任意数据混合优化的大规模处理分析系统，涉及数据大规模处理分析系统领域。本发明包括数据采集模块、数据转换模块、数据处理模块、学习模块、数据管理模块以及数据判读分析模块，通过设置源文件的参数字段与目标文件的参数字段的对应关系，确定源文件的参数字段为第一数据格式，目标文件的参数字段为第二数据格式，根据源文件的参数字段与目标文件的参数字段之间的相似度生成每个第一数据格式对应的格式转换协议，并将每个格式转换协议下发至对应数据转换模块，根据格式转换协议，将源文件的参数字段的数据匹配至目标文件对应的参数字段，降低系统面对多源异构的海量数据时数据整合难度，提高分析效率。

技术领域

本发明涉及数据大规模处理分析系统领域，特别是涉及一种任意数据混合优化的大规模处理分析系统。

背景技术

数据是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的原始素材。数据可以是连续的值，比如声音、图像，称为模拟数据；也可以是离散的，如符号、文字，称为数字数据；在计算机系统中，数据以二进制信息单元0、1的形式表示。

在公开号“CN108427709B”公开的“一种多源海量数据处理系统及方法”，所述系统包括计算模块和任务管理模块，其中：所述计算模块用于接收多源海量数据，并调取数据接收服务解析所述多源海量数据；所述多源海量数据是根据预先在所述任务管理模块中配置的任务所产生的开源数据；所述计算模块若接收到外界选择的预设模型的确认动作，将解析后的多源海量数据输入所述预设模型，以供分析所述预设模型的输出结果。所述方法使用所述系统。本发明实施例提供的多源海量数据处理系统及方法，通过调取数据接收服务解析多源海量数据，将解析后的多源海量数据输入预设模型，并根据预设模型的输出结果分析多源海量数据，不仅使企业系统高效兼容多源海量数据，还能够有效利用该多源海量数据进行数据分析。

随着大数据技术的发展，数据的来源也越来越广泛，现有的处理分析系统在面对多源异构的海量数据时往往存在数据整合困难，分析效率低；并且不同的业务场景需要基于业务进行编码的工作，当业务发生轻微变化时需要进行相应的需求评审、设计、开发、上线、部署等一系列的操作，效率低下，且过程繁琐。

发明内容

本发明的目的在于提供一种任意数据混合优化的大规模处理分析系统，解决现有的处理分析系统在面对多源异构的海量数据时往往存在数据整合困难，分析效率低；并且不同的业务场景需要基于业务进行编码的工作，当业务发生轻微变化时需要进行相应的需求评审、设计、开发、上线、部署等一系列的操作，效率低下，且过程繁琐的问题：

本发明为一种任意数据混合优化的大规模处理分析系统，包括数据采集模块、数据转换模块、数据处理模块、学习模块、数据管理模块以及数据判读分析模块；

所述数据采集模块用于通过利用大数据平台的计算能力，采用分布式的方式并行执行采集任务；

所述数据转换模块用于将海量异构数据转换为同构数据，并传输给数据处理模块；

所述数据处理模块用于对数据包进行解析，按照用户配置的参数信息处理出结果，并发送至数据管理模块；

所述数据管理模块用于接收并存储数据处理模块发送的原始数据，按试验项目建立存储结构，完成数据实时存储；实时接收数据处理模块通过网络发布的数据处理结果，并实时显示；

所述学习模块用于将现有的算法模型整合，形成算法模型数据库，基于海量的样本数据训练不断优化模型正确率；

其中，算法模型数据库的底层融入开源技术组件，如Impala、YARN、Spark、Hbase、HDFS、Hive、Kafka、Flink、ElasticSearch、ZooKeeper等。针对不同应用领域，以插件的方式对功能组件进行扩展，快速响应特定的计算需求；