[发明专利]一种基于大数据的数据调优方法及系统

权利要求书

1.一种基于大数据的数据调优方法，其特征在于，包括：

获取待调优模型的待分类数据，其中，待分类数据指的是可用于评估待调优模型各项指标的参数，包括：输出数据、输出标识数据、模型节点参数、模型损失参数、模型训练的过程参数；

将所述待分类数据输入词向量模型进行向量化处理，生成待分类词向量；

将所述待分类词向量输入样本空间进行聚类分析，获取近邻词向量集；

遍历所述近邻词向量集对所述待分类数据进行指标分类，获取归类指标判定结果；

根据所述归类指标判定结果对所述待调优模型进行评估，生成归类指标评估结果；

根据所述归类指标评估结果对所述待调优模型进行调优分析；

其中，所述遍历所述近邻词向量集对所述待分类数据进行指标分类，获取归类指标判定结果，包括：

遍历所述近邻词向量集，获取近邻词向量归类标识信息；

根据所述近邻词向量归类标识信息对所述近邻词向量集进行指标归类，获取多个指标归类结果；

根据近邻词向量归类数对所述多个指标归类结果进行降序排序，生成指标归类排序结果；

将所述指标归类排序结果的首位指标，设为所述归类指标判定结果；

其中，所述将所述指标归类排序结果的首位指标，设为所述归类指标判定结果，包括：

当首位指标数量大于或等于两个时，获取权重分布公式：

其中，w_j表征待分类词向量a与第j个近邻词向量b_j的归类权重，D(a,b_j)表征待分类词向量a与第j个近邻词向量b_j相似距离；

根据所述权重分布公式，遍历所述首位指标进行权重分布，获取权重分布结果；

根据所述权重分布结果，筛选所述归类指标判定结果。

2.如权利要求1所述的方法，其特征在于，所述将所述待分类数据输入词向量模型进行向量化处理，生成待分类词向量，包括：

基于大数据，采集文本检索信息和词向量标注信息，其中，所述文本检索信息和所述词向量标注信息一一对应；

根据所述文本检索信息和所述词向量标注信息对神经网络词向量模型进行训练，生成所述词向量模型；

将所述待分类数据输入所述词向量模型进行向量化处理，生成所述待分类词向量。

3.如权利要求1所述的方法，其特征在于，所述将所述待分类词向量输入样本空间进行聚类分析，获取近邻词向量集，包括：

根据所述样本空间，获取样本词向量集；

基于所述待分类词向量，遍历所述样本词向量集进行相似距离评估，生成相似距离评估结果；

根据所述相似距离评估结果对所述样本词向量集由小到大进行排序，获取样本词向量排序结果；

遍历所述样本词向量排序结果筛选预设数量的样本词向量，获取所述近邻词向量集。

4.如权利要求3所述的方法，其特征在于，所述根据所述样本空间，获取样本词向量集，包括：

基于大数据，获取所述待调优模型的已分类数据集；

将所述已分类数据集输入所述词向量模型进行向量化处理，生成已分类词向量集；

根据所述已分类词向量集，构建所述样本空间。

5.如权利要求3所述的方法，其特征在于，所述基于所述待分类词向量，遍历所述样本词向量集进行相似距离评估，生成相似距离评估结果，包括：

构建相似距离评估公式：

其中，a表征待分类词向量，b表征任意一个样本词向量，a_i表征待分类词向量中第i维参数，b_i表征样本词向量中第i维参数，n表征最高维数，D(a,b)表征a和b的相似距离，α，β和γ是自定义校正因子；

根据所述相似距离评估公式，基于所述待分类词向量，遍历所述样本词向量集进行相似距离评估，生成所述相似距离评估结果。