[发明专利]一种数据自动分析与建模流程

说明书

本发明公开了一种数据自动分析与建模流程，该流程包括以下步骤：S1、将数据管理、数据透视、特征选择、模型搜索、报告生成、模型预测、模型迭代和数据追加8个步骤以及自动机器学习中的超参数搜索、自动特征工程整合简化为一个流程；S2、结合分布式计算、分布式存储、远程过程调用以及浏览器和服务器架构技术，将所述流程实例化为一个系统，且所述流程中的每个步骤分别对应所述系统中相应的功能模块。有益效果：将数据分析及建模封装成一种简单、易操作的流程，大大降低了基于机器学习的数据分析与建模门槛，并通过网页实现交互，既使无机器学习背景的用户，也能训练并选择出最优的模型。

技术领域

本发明涉及自动机器学习和数据建模分析领域，具体来说，涉及一种数据自动分析与建模流程。

背景技术

机器学习方法在数据分析与挖掘中的应用越来越广泛，但目前各大公司对数据的分析和挖掘还是靠机器学习专家来完成。既使经验丰富的机器学习专家在分析或挖掘数据时，也需要先从繁琐的数据处理、数据统计分析开始，然后根据经验和数据分布选择算法进行验证和测试，而所选算法是否合适还要靠大量的实验来证明，该过程耗时耗力。同时，常用的机器学习算法都含有一定数量的超参数，如何针对当前数据选择合适的超参数，又是一个繁琐且具有挑战性的工作。

针对上述问题，自动机器学习逐渐受到工业界的重视。各大IT巨头都搭建或者尝试搭建自动机器学习平台，以降低机器学习技术的使用门槛，但流程依然很繁琐，无机器学习知识的用户使用起来依然有难度。同时，已有的开源机器学习平台，如：AutoWeka、Auto-sklearn、TPOT，虽然已经做了较高的封装，但对缺少机器学习知识的用户依然很不友好。

针对上述的相关问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种数据自动分析与建模流程，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

一种数据自动分析与建模流程，该流程包括以下步骤：

S1、将数据管理、数据透视、特征选择、模型搜索、报告生成、模型预测、模型迭代和数据追加8个步骤以及自动机器学习中的超参数搜索、自动特征工程整合简化为一个流程；

S2、结合分布式计算、分布式存储、远程过程调用以及浏览器和服务器(B/S)架构技术，将所述流程实例化为一个系统，且所述流程中的每个步骤分别对应所述系统中相应的功能模块。

进一步的，所述数据管理实现数据集上传、数据集属性管理、数据集追加和目标列自主选择功能，包括以下步骤：

S111、在数据加载中，引入数据转换层；

S112、通过数据转换层使用策略模式，向前对接不同类型的数据源，向后使用数据类型推断、表头字段推理技术将不同来源的数据格式化，并输出CSV格式文件提供给数据入库模块使用。

进一步的，所述数据透视实现数据分布分析、分析结果图表绘制、数据预处理、特征关联分析及工具集功能，包括以下步骤：

S121、将数据在网页上渲染展示，并根据用户的需求自由组合特征例和目标例进行建模；

S122、根据选择的数据调用非监督学习或监督学习算法对数据进行分析，并以图表的方式展示分析结果。

进一步的，所述特征选择实现重要特征筛选、缺失值补全及异常值检测功能。

进一步的，所述模型搜索实现超参数搜索引擎、元学习引擎、神经网络架构搜索、模型库构建及算法搜索空间定义功能，包括以下步骤：

S141、通过遗传算法为不同模型选定超参数，并在数据集上进行训练；

S142、根据评估结果推荐前十个最好的数据预处理和预测模型；