[发明专利]一种数据分布平衡的确定方法及系统

说明书

一种数据分布平衡的确定方法，其特征在于，包括步骤：设定预设数组最丰富样本和稀有样本的不同比值；根据所述不同比值对预训练数据集进行分布调整，获得预设数组的对应比值下的训练集；分别对所述预设数组的各个训练集进行训练；采用同一验证集分别对所述各个训练集训练出来的模型进行验证，获得各个模型的预测准确率；分析各个模型的预测准确率和不同比值之间的关系，根据所述预测准确率高低和提升效果选择对应的比值进行数据分布调整。本发明通过分析改变最丰富样本和稀有样本比值对模型准确率的影响，可以确定较佳的最丰富样本和稀有样本比值，以此来提升模型分类的准确率。

技术领域

本发明涉及数据分类技术领域，尤其涉及一种数据分布平衡的确定方法及系统。

背景技术

深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

在使用深度学习方法进行图像分类以及识别时，为了提升训练的准确率，可以从数据和模型两方面入手来提升模型的预测性能。对于算法本身，可以通过选择适合问题的模型，对模型进行调优，进行模型融合等方法进行提升。数据集的大小和分布对于训练出的模型预测能力的好坏也有着非常重要的作用。首先，用小样本进行深度学习模型训练容易导致过拟合。其次，当样本量足够时，样本数据具体的分布情况也会对训练出的模型精度产生一定影响。比如当数据集总样本很多，但是某些类别由于现实情况无法获取足够或者更多的样本，导致一些类别的样本很多，另一些类别的样本很少，甚至样本数较多的类别与样本数较少的类别比值很大，这种数据分布不平衡的数据集训练出来的模型精度将会受到数据本身的限制。对于样本数量足够的数据集，要解决数据不平衡问题，可以通过适当的数据增广增加样本数较少类别的样本数，从而一定程度平衡数据的分布。为了确定相对最佳的数据分布，需要确定平衡后数据每一类样本的均值，以及平衡后样本数最多的类别与样本数最少的类别样本数的比值。

现有技术通过减少丰富类的大小来平衡数据集，保持样本稀少类别的样本数不变，以及通过增加稀少类别的样本数来获得较平衡的样本数据分布。设计适用于不平衡数据集的模型。技术的缺点包括：在稀有样本很少时，减少丰富类的大小来平衡样本会明显降低整个数据集的大小；一般情况下稀有类数据较难获得，通过创造或合成新的稀有类数据的方法也会导致生成的图像太多，降低自然样本对模型学习的影响。目前大多数表现优秀的模型都需要数据分布平衡的数据集进行训练。

发明内容

本发明的目的是针对现有技术的缺陷，提供一种数据分布平衡的确定方法及系统，通过确定待平衡数据集的最佳平衡点，即平衡后最丰富样本与稀有样本的比值(IR)，以获得最佳的数据平衡效果，从而提高模型预测的准确性。

为了实现以上目的，本发明采用以下技术方案：

一种数据分布平衡的确定方法，包括步骤：

设定预设数组最丰富样本和稀有样本的不同比值；

根据所述不同比值对预训练数据集进行分布调整，获得预设数组的对应比值下的训练集；

分别对所述预设数组的各个训练集进行训练；

采用同一验证集分别对所述各个训练集训练出来的模型进行验证，获得各个模型的预测准确率；

分析各个模型的预测准确率和不同比值之间的关系，根据所述预测准确率高低和提升效果选择对应的比值进行数据分布调整。

优选的，所述分别对所述预设数组的各个训练集进行训练具体包括步骤：

选择轻量级卷机神经网络分别对所述预设数组的各个训练集进行训练。

优选的，还包括步骤：

对所述预训练数据集进行预处理，其中，所述预处理包括去重以及格式检查。