[发明专利]算法获得方法及系统及装置及介质及模型处理方法及系统

说明书

本发明公开了算法获得方法及系统及装置及介质及模型处理方法及系统，涉及数据处理及分析领域，将算法分为不同类型的算子，建立用于储存所述不同类型的算子的数据库，当需要对某种结构的数据集开发数据处理算法时，选择合适的算子生成算法定义文件，并根据所述算法定义文件快速组合出需要的算法，解决了传统数据分析算法开发过程中由于数据处理过程与模型训练及预测过程形成强耦合，使最终得到的数据处理模型仅适用于特定的数据集进而导致的算法开发工作量大、时间成本高的问题。

技术领域

本发明涉及数据处理及分析领域，具体地，涉及算法获得方法及系统及装置及介质及模型处理方法及系统。

背景技术

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。随着大数据的发展，对数据进行分析能够帮助人类不断发现各种规律，从而能够预测未来数据趋势，进而帮助决策者进行判断，目前的数据分析算法通常需要技术人员针对不同数据结构的数据集，选用相应的数据处理方式开发不同的算法，且现有算法开发过程中通常将原始数据集的数据处理过程放到算法中，使数据处理过程与训练及预测过程形成强耦合，最终得到的数据处理模型仅适用于特定的数据集，导致算法开发工作量大，时间成本高。

发明内容

为了解决现有数据分析算法开发过程中，开发工作量大、时间成本高的问题，本发明提供了算法获得方法及系统及装置及介质及模型处理方法及系统，能够简化数据分析算法开发过程，提高针对不同结构数据集的数据分析算法开发效率。

为了实现上述发明目的，本发明提供了算法获得方法，包括以下步骤：

初始化步骤，包括：创建数据库，所述数据库用于储存若干类型的数据处理算子；

算法分析步骤，包括：获得算法定义文件，解析所述算法定义文件获得第一结构化数据；

算法组合步骤，包括：根据所述第一结构化数据从所述数据库中调用若干所述数据处理算子进行组合获得第一数据处理组合算法。

其中，本方法原理为：将传统数据处理及分析算法解耦为多个相互独立的不同类型的算子，建立用于储存所述不同类型的算子的数据库，当需要对某种结构的数据集开发数据处理算法时，针对该数据集选择合适的算子生成算法定义文件，将所述算法定义文件解析为计算机可以识别的结构化数据后，根据所述结构化数据从所述数据库中调用对应的算子进行组合即可获得需要的数据处理算法，代替了技术人员针对不同数据结构的数据集，选用相应的数据处理方式开发不同的算法，减少了开发工作量。

其中，为了满足数据分析中对数据进行处理的相关需要，所述若干类型的算子包括ETL算子、训练算子和预测算子，所述ETL算子用于数据预处理，所述训练算子用于训练数据分类模型，所述预测算子用于对数据进行预测。

进一步的，为了使各个算子能够进行组合，为各个类型算子定义标准化输入输出，若第一算子输出类型与第二算子输入类型相同，则所述第一算子能够作为前置算子与所述第二算子组合，其中：

所述ETL算子输入类型为数据，输出类型为数据；

所述训练算子输入类型为数据，输出类型为模型；

所述预测算子输入类型为数据和模型，输出类型为数据。

进一步的，为了使所述各类型的算子选择更加直观，便于用户操作，所述数据处理算子分别对应有可视化图形，组合所述可视化图形获得所述算法定义文件，所述可视化图形基于Web页面显示，用户在Web页面上通过对所述可视化图形进行拖拽即可实现所述算子的选择和组合，计算机根据所述Web页面上的多个可视化图形进行分析，即可获得所述算法定义文件。