[发明专利]一种基于大数据的数据调优方法及系统

说明书

本发明提供了一种基于大数据的数据调优方法及系统，涉及模型调优领域，包括：获取待调优模型的待分类数据；将所述待分类数据输入词向量模型进行向量化处理，生成待分类词向量；将所述待分类词向量输入样本空间进行聚类分析，获取近邻词向量集；遍历所述近邻词向量集对所述待分类数据进行指标分类，获取归类指标判定结果；根据所述归类指标判定结果对所述待调优模型进行评估，生成归类指标评估结果；根据所述归类指标评估结果对所述待调优模型进行调优分析。解决了现有技术中评估模型各项指标的数据需要自定义设定，导致存在模型调优分析过程智能化程度较低的技术问题。

技术领域

本发明涉及模型调优技术领域，具体涉及一种基于大数据的数据调优方法及系统。

背景技术

人工智能、机器学习等是近几年的发展热词，为人工智能、机器学习赋能的便是各类智能化模型，例如决策树模型、神经网络模型、向量机、专家系统等，任意一个模型的训练都需要依托于大量的训练数据进行迭代寻优学习才能保证稳定的处理性能。

模型训练后，需要模型评估和调优阶段，以尽快发现模型的不足并进行优化。在人工智能应用实际的开发过程中，需要评估模型的精度、性能、可解释性等，目前评估模型各项指标的数据需要自定义设定，智能性较差。

现有技术中评估模型各项指标的数据需要自定义设定，导致存在模型调优分析过程智能化程度较低的技术问题。

发明内容

本申请提供了一种基于大数据的数据调优方法及系统，用于针对解决现有技术中缺乏依据评估指标对模型数据进行分类的手段，导致存在模型调优分析过程智能化程度较低的技术问题。

鉴于上述问题，本申请提供了一种基于大数据的数据调优方法及系统。

本申请的第一个方面，提供了一种基于大数据的数据调优方法，其中，包括：获取待调优模型的待分类数据；将所述待分类数据输入词向量模型进行向量化处理，生成待分类词向量；将所述待分类词向量输入样本空间进行聚类分析，获取近邻词向量集；遍历所述近邻词向量集对所述待分类数据进行指标分类，获取归类指标判定结果；根据所述归类指标判定结果对所述待调优模型进行评估，生成归类指标评估结果；根据所述归类指标评估结果对所述待调优模型进行调优分析。

本申请的第二个方面，提供了一种基于大数据的数据调优系统，其中，包括：待分类数据待机模块，用于获取待调优模型的待分类数据；向量化处理模块，用于将所述待分类数据输入词向量模型进行向量化处理，生成待分类词向量；近邻词向量匹配模块，用于将所述待分类词向量输入样本空间进行聚类分析，获取近邻词向量集；指标归类判定模块，用于遍历所述近邻词向量集对所述待分类数据进行指标分类，获取归类指标判定结果；归类指标评估模块，用于根据所述归类指标判定结果对所述待调优模型进行评估，生成归类指标评估结果；模型调优分析模块，用于根据所述归类指标评估结果对所述待调优模型进行调优分析。

本申请的第三个方面，提供了一种基于大数据的数据调优系统，所述计算机设备包括存储器和处理器，所述存储器内存储有计算机程序，所述计算机程序被所述处理器执行时实现第一方面中方法的步骤。

本申请的第四个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中方法的步骤。

本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：