[发明专利]一种建模任务调度的执行方法和装置

说明书

本发明提供了一种建模任务调度的执行方法和装置，涉及AI建模的技术领域，包括：确定AI模型中的任务，并基于任务构建目录树，其中，任务的类型至少包括：数据同步任务、SQL任务、Python任务、可视化编程任务；基于目录树构建任务树，并为目录树中的任务配置周期调度信息，其中，周期调度信息用于表征任务的执行周期；基于任务树和周期调度信息，生成配置文件；利用任务执行引擎对配置文件进行解析，以使任务根据周期调度信息执行，解决了现有技术中现有的AI模型的在执行周期性任务时需要人工手动操作的技术问题。

技术领域

本发明涉及AI建模的技术领域，尤其是涉及一种建模任务调度的执行方法和装置。

背景技术

AI模型的开发是一项非常复杂的数据加工与运算的过程，算法工程师在模型开发的各个环节中，需要使用到不同的编程语言。

整个模块开发的逻辑，由不同编程语言开发的一系列的子任务组成，它们之间有先后依赖关系。如果组织这些不同的任务，让它们按先后依次执行，是一个普遍又棘手的问题。

数据分析加工、特征工程和模型训练是机器学习领域的几个重要模块。随着海量数据的不断积累，定时同步增量数据，进行数据分析、加工和特征工程，然后优化模型的流程越来越普遍。而完成上述流程使用的工具和方法多种多样，比如数据同步需要用到数据同步工具，数据分析和加工需要用到SQL和Python，特征工程和模型训练需要用到Python或者拖拉拽可视化建模。可见整个流程需要涉及到各种不同类型的方法和工具，而这些方法和工具通常在不同的系统中，比如数据同步和数据分析任务通常在大数据平台相关的系统中，特征处理和建模任务通常在模型平台系统中。

现有的AI模型中的任务按照顺序，人工手动依次执行。但是，这种方法存在的缺陷非常明显，子任务较多时比较麻烦；如果需要定期执行时，每次都需要人来操作。

针对上述问题，还未提出有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种建模任务调度的执行方法和装置，以缓解了现有技术中现有的AI模型的在执行周期性任务时需要人工手动操作的技术问题。

第一方面，本发明实施例提供了一种建模任务调度的执行方法，确定AI模型中的任务，并基于所述任务构建目录树，其中，所述任务的类型至少包括：数据同步任务、SQL任务、Python任务、可视化编程任务；基于所述目录树构建任务树，并为所述目录树中的任务配置周期调度信息，其中，所述周期调度信息用于表征所述任务的执行周期；基于所述任务树和所述周期调度信息，生成配置文件；利用任务执行引擎对所述配置文件进行解析，以使所述任务根据所述周期调度信息执行。

进一步地，基于所述目录树构建任务树，包括：在获取到用户的第一目标操作之后，基于所述第一目标操作，所述目录树和预设画布，构建所述任务树，其中，所述第一目标操作为将所述任务树中的任务添加至所述预设画布中的操作。

进一步地，所述方法还包括：在获取到用户的第二目标操作之后，基于所述任务和所述第二目标操作，生成目标任务，其中，所述第二目标操作为用户对所述任务进行修改的操作，所述目标任务中包括一个或多个版本的任务。

进一步地，所述方法还包括：在获取到用户的第三目标操作之后，基于所述第三目标操作，对所述任务和/或所述目标任务的执行记录进行查询，得到任务执行记录。