[发明专利]基于数据湖服务器的算法配置组合平台

说明书

本发明是一种基于数据湖服务器的算法配置组合平台，包含：数据目录区，数据预处理工作台，数据预处理资源目录区，通用算法操作目录区，算法流程工作台，模型资源目录区，知识库；其操作方法包含：步骤1、在一个数据湖服务器节点，进入算法配置组合平台；步骤2、数据目录保存至数据目录区中，并选取若干数据移动至数据预处理工作台进行预处理，并将其保存至数据预处理资源目录区；步骤3、判断是否使用模型资源目录区中已生成的训练模型，若是则执行步骤4，若不是则执行自定义算法操作流程；步骤4、模型资源目录区中选择训练模型，并选择数据预处理资源目录区中未分类的数据；步骤5、执行训练模型，并将产生的计算结果保存至知识库中。

技术领域

本发明涉及数据处理技术领域，具体涉及基于数据湖服务器的算法配置组合平台。

背景技术

数据库技术是现代计算机信息系统和计算机应用系统的基础和核心，是信息系统的重要组成部分。在进行数据库应用系统开发时，通常需要将数据库数据导出以用于本系统备份或与其它系统进行数据共享和交换。

数据湖或hub的概念最初是由大数据厂商提出的，表面上看，数据都是承载在基于可向外扩展的HDFS(Hadoop分布式文件系统)廉价存储硬件之上的。但数据量越大，越需要各种不同种类的存储。最终，所有的企业数据都可以被认为是大数据，但并不是所有的企业数据都是适合存放在廉价的HDFS集群之上的。数据湖的一部分价值是把不同种类的数据汇聚到一起，另一部分价值是不需要预定义的模型就能进行数据分析。现在的大数据架构是可扩展的，并且可以为用户提供越来越多的实时分析。数据湖架构面向多数据源的信息存储，包括物联网在内。大数据分析或归档可通过访问数据湖处理或交付数据子集给请求用户。

目前数据湖相关的算法设计单纯依靠经验，需要反复测试修改。算法的复杂性会显著影响其泛化能力，并且消耗大量的工作时间，最后还使其缺乏可重复使用。因此简化算法设计和重用已有算法具有重要意义。

发明内容

本发明提出了一种基于数据湖服务器的算法配置组合平台，以达到在该平台上设计的算法能够有效缩短时间，简化算法的设计。

为了达到以上目的，本发明通过以下技术方案实现：

一种基于数据湖服务器的算法配置组合平台，其特征包含：数据目录区，数据预处理工作台，数据预处理资源目录区，通用算法操作目录区，算法流程工作台，模型资源目录区，知识库；

在所述数据目录区中保存用户上传数据时建立的数据目录；

所述数据预处理工作台将读取若干个数据目录中存放的数据，且进行预处理工作之后形成数据预处理资源，并将已生成的数据预处理资源保存至所述数据预处理资源目录区；

所述通用算法操作目录区存放若干个算法操作，并将一个或多个算法操作传递给所述算法流程工作台；

所述算法流程工作台中选择算法操作的先后顺序，并输入算法需要的阈值；

所述数据预处理资源目录区中选择一个数据预处理资源作为第一个算法操作的训练集数据，并开始训练算法流程；

若所述算法流程是计算结果的算法流程，则其计算结果保存至所述知识库；

若所述算法流程是训练模型的算法流程，则训练模型保存至所述模型资源目录区；

所述模型资源目录区中选取已生成的训练模型，并且选取数据预处理资源目录区中未分类的数据进行计算，并将产生的计算结果保存至知识库中，将生成的模型以及与模型有关的数据，以文件形式存储在数据湖服务器中的分布式文件系统中，并在将来需要时作为数据可视化编辑展示平台的模型来源和数据来源。

优选地，计算结果的算法流程包含聚类、关联规则算法。

训练模型的算法流程包含分类、回归、人工神经网络算法和数据特征变换操作。