[发明专利]一种数据处理方法和系统

说明书

本发明提供一种数据处理方法和系统，涉及大数据处理领域，该数据处理方法包括：获取资源配置和框架类型；基于获取的所述资源配置和所述框架类型，构建分布式架构。本发明实施例通过将分布式架构和框架解耦，可以实现资源的重复利用，有效提高分布式训练的效率。

技术领域

本发明涉及大数据处理领域，尤其涉及一种数据处理方法和系统。

背景技术

随着社会信息化和智能化水平提高，使用大数据系统训练业务模型，并使用训练好的业务模型实现大数据业务智能化处理也逐渐成为大数据行业的通用手段。现有大数据系统在进行大数据分析时可以选择分布式或者单机式方式处理数据、训练模型。然而，现有的大数据系统中使用分布式方式处理数据时，分布式架构和框架作为整体由用户手动设置适配复杂参数，资源利用率低和数据处理效率低。

发明内容

本发明实施例提供一种数据处理方法和系统，解决现有的大数据系统使用分布式方式处理数据时，分布式架构和框架作为整体由用户手动设置适配参数，资源利用率低和数据处理效率低。

为解决上述技术问题，本发明提供一种数据处理方法，所述方法包括：

获取资源配置和框架类型；

基于获取的所述资源配置和所述框架类型，构建分布式架构。

可选的，上述方法中，所述资源配置包括节点数量和节点运行资源配置，其中，节点由分布式架构经逻辑抽象处理后得到的。

可选的，上述方法中，所述基于获取的所述资源配置和所述框架类型，构建分布式架构的步骤包括：

基于所述资源配置确定目标节点；

基于所述目标节点以及所述框架类型，构建分布式架构。

可选的，上述方法中，所述基于所述资源配置确定目标节点的步骤包括：

基于所述资源配置，确定所述目标节点的数量；

基于各个节点的运行状态，从所述各个节点中确定可用的目标节点。

可选的，上述方法中，所述基于所述目标节点以及所述框架类型，构建分布式架构的步骤包括：

获取与所述框架类型对应的环境信息以及运行代码；

各个所述目标节点基于所述环境信息以及运行代码构建分布式架构。

可选的，上述方法中，所述获取与所述框架类型对应的环境信息以及运行代码的步骤包括：

根据所述框架类型推荐至少一种环境信息；

基于用户操作，从推荐的至少一种环境信息中确定与所述框架类型对应的环境信息。

可选的，上述方法中，所述取与所述框架类型对应的环境信息以及运行代码的步骤包括：

根据所述框架类型，显示与所述框架类型对应的环境信息配置模板；

根据用户的输入操作，生成与所述框架类型对应的环境信息。

可选的，上述方法中，所述各个所述目标节点基于所述环境信息以及运行代码构建分布式架构的步骤包括：

主节点向各个所述目标节点分发环境信息以及运行代码；

各个目标节点根据所述环境信息以及运行代码，构建分布式架构。

可选的，上述方法中，所述基于各个节点的运行状态，从所述各个节点中确定可用的目标节点的步骤具体包括：

根据所述各个节点的运行状态，获取已启动的候选节点；