[发明专利]机器学习的建模方法、装置、存储介质和处理器

说明书

本发明公开了一种机器学习的建模方法、装置、存储介质和处理器。其中，该方法包括：获取训练数据；依次生成多个任务节点，并根据所述任务节点创建工作流，每个所述工作流对应一个任务模型，其中，每次生成一个任务节点，均对当前任务节点之前的任务节点进行预训练，进行所述预训练所使用的预训练数据根据所述训练数据的数据类型，从所述训练数据中抽取得到，所述数据类型包括：连续变量和离散变量；基于所述工作流对应的任务模型对所述训练数据进行训练。本发明解决了现有技术中机器学习平台进行数据预训练所消耗的时间较长的技术问题。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种机器学习的建模方法、装置、存储介质和处理器。

背景技术

随着大数据、人工智能时代的到来，AI应用规模不断增大，而AI应用本质上均为采用机器学习和深度学习建模开发而成的各种应用系统。近些年来，随着算力的不断提升，开源技术的不断发展，机器学习建模在效率上也不断取得突破。传统的线下代码编写、模型训练、超参数调试、模型部署等逐渐被线上机器学习平台代替。各大云服务提供商也相继推出机器学习平台产品。

但目前用于训练的数据集数量都较大，在机器学习平台上进行数据预训练时就会消耗较长的时间，从而影响机器学习平台产品的使用效果。

针对现有技术中机器学习平台产品进行数据预训练所消耗的时间较长的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种机器学习的建模方法、装置、存储介质和处理器，以至少解决现有技术中机器学习平台进行数据预训练所消耗的时间较长的技术问题。

根据本发明实施例的一个方面，提供了一种机器学习的建模方法，包括：获取训练数据；依次生成多个任务节点，并根据任务节点创建工作流，每个工作流对应一个任务模型，其中，每次生成一个任务节点，均对当前任务节点之前的任务节点进行预训练，进行预训练所使用的预训练数据根据训练数据的数据类型，从训练数据中抽取得到，数据类型包括：连续变量和离散变量；基于工作流对应的任务模型对训练数据进行训练，解决了现有技术中机器学习平台进行数据预训练所消耗的时间较长的技术问题，达到了大幅度缩小预训练所消耗的时间，进而缩短模型训练时间的效果。

进一步地，上述方法还包括：根据训练数据的数据类型，从训练数据中抽取预训练数据，该步骤包括：判断训练数据中是否包括离散变量；在训练数据中包括离散变量的情况下，对离散变量进行去重，并抽取去重后的离散变量参与训练，其中，去重后的离散变量包括每个离散变量的不同变量值；在训练数据中不包括离散变量的情况下，抽取预设数量的连续变量参与训练，解决了训练数据过多导致预训练的效率过低的技术问题，达到了提高预训练效率的目的。

进一步地，依次生成多个任务节点：接收拖动操作，其中，拖动操作用于将多个任务组件拖动至画布区域；确定拖动至画布区域的任务组件构成任务节点，解决了如何在平台中生成任务节点的问题，达到了操作便捷的效果。

进一步地，任务组件包括自定义算法组件，在依次生成多个任务节点，并根据任务节点创建工作流之前，上方法还包括：生成自定义算法组件，其中，生成自定义算法组件的步骤包括：获取自定义算法对应的算法镜像，其中，将自定义算法对应的代码文件打包生成算法镜像，自定义算法对应的代码文件至少包括如下至少一项：入口函数文件名、工作目录参数、算法参数、交叉验证参数、算法主体以及算法对应的任务类型；根据算法镜像生成自定义算法组件，解决了平台提供的算法较为局限的问题，使得可以通过自定义算法的方式，在平台上引入各种需要的算法。

进一步地，上述方法还包括：将基于工作流对应的任务模型对训练数据进行训练的过程中所使用的方法进行分类；根据每个类别的方法生成对应的功能镜像，其中，功能镜像至少包括：数据预处理镜像、模型训练镜像以及请求接收处理镜像，解决了如何进行模型训练的问题，达到了将训练过程中所使用的方法进行功能镜像的目的，以用于实现模型的分布式训练。