[发明专利]一种数据分布平衡的确定方法及系统

权利要求书

1.一种数据分布平衡的确定方法，其特征在于，包括步骤：

设定预设数组最丰富样本和稀有样本的不同比值；

根据所述不同比值对预训练数据集进行分布调整，获得预设数组的对应比值下的训练集；

分别对所述预设数组的各个训练集进行训练；

采用同一验证集分别对所述各个训练集训练出来的模型进行验证，获得各个模型的预测准确率；

分析各个模型的预测准确率和不同比值之间的关系，根据所述预测准确率高低和提升效果选择对应的比值进行数据分布调整。

2.如权利要求1所述的一种数据分布平衡的确定方法，其特征在于，所述分别对所述预设数组的各个训练集进行训练具体包括步骤：

选择轻量级卷机神经网络分别对所述预设数组的各个训练集进行训练。

3.如权利要求1所述的一种数据分布平衡的确定方法，其特征在于，还包括步骤：

对所述预训练数据集进行预处理，其中，所述预处理包括去重以及格式检查。

4.如权利要求1所述的一种数据分布平衡的确定方法，其特征在于，还包括步骤：

结合所述预训练数据集的数据分布，对所述预训练数据集进行不同程度的数据增广。

5.如权利要求1所述的一种数据分布平衡的确定方法，其特征在于，还包括步骤：

采用所述对应比值进行数据分布调整的样本对预训练数据集进行分类集成。

6.一种数据分布平衡的确定系统，其特征在于，包括：

设定比值模块，用于设定预设数组最丰富样本和稀有样本的不同比值；

训练集获得模块，用于根据所述不同比值对预训练数据集进行分布调整，获得预设数组的对应比值下的训练集；

训练模块，用于分别对所述预设数组的各个训练集进行训练；

验证模块，用于采用同一验证集分别对所述各个训练集训练出来的模型进行验证，获得各个模型的预测准确率；

分析选择模块，用于分析各个模型的预测准确率和不同比值之间的关系，根据所述预测准确率高低和提升效果选择对应的比值进行数据分布调整。

7.如权利要求6所述的一种数据分布平衡的确定系统，其特征在于，所述训练模块包括：

选择训练单元，用于选择轻量级卷机神经网络分别对所述预设数组的各个训练集进行训练。

8.如权利要求6所述的一种数据分布平衡的确定系统，其特征在于，还包括：

预处理模块，用于对所述预训练数据集进行预处理，其中，所述预处理包括去重以及格式检查。

9.如权利要求6所述的一种数据分布平衡的确定系统，其特征在于，还包括：

数据增广模块，用于结合所述预训练数据集的数据分布，对所述预训练数据集进行不同程度的数据增广。

10.如权利要求6所述的一种数据分布平衡的确定系统，其特征在于，还包括：

分类集成模块，用于采用所述对应比值进行数据分布调整的样本对预训练数据集进行分类集成。