[发明专利]一种样本筛选方法、系统及神经网络模型训练方法

权利要求书

1.一种样本筛选方法，其特征在于，包括：

构建第一训练集，所述第一训练集包括未标注样本集和标注样本集；

计算所述未标注样本集和所述标注样本集之间的距离，并按照从小到大的顺序进行排序，得到排序结果；

将所述未标注样本集输入预训练的神经网络模型中，提取对应的表征参数，计算各表征参数的活跃值；

根据所述排序结果和所述活跃值，从所述未标注样本集中选择部分样本进行标注，并将标注后的样本加入所述标注样本集中，形成新的标注样本集；

组合所述未标注样本集中剩余的样本、所述新的标注样本集，形成筛选后的第一训练集。

2.根据权利要求1所述的样本筛选方法，其特征在于，所述计算所述未标注样本集和标注样本集之间的距离的步骤包括：

采用KM算法，分别对所述未标注样本集和所述标注样本集进行聚类分析，得到第一聚类群和第二聚类群；

从所述第一聚类群和所述第二聚类群中分别选择预设数量的聚类，提取每个聚类的质心；

计算来自第一聚类群的每个质心与来自第二类聚类群的所有质心的欧式距离之和，得到所述未标注样本集和标注样本集之间的距离。

3.根据权利要求2所述的样本筛选方法，其特征在于，所述将所述未标注样本集输入预训练的神经网络模型中，提取对应的表征参数，计算各表征参数的活跃值的步骤包括：

将选自所述第一聚类群的每个聚类输入预训练的神经网络模型中，提取对应的表征参数；

计算每个表征参数的平均值，根据该平均值确定对应的活跃值；其中，平均值越大，对应的活跃值越高。

4.根据权利要求2所述的样本筛选方法，其特征在于，所述根据所述排序结果，从所述未标注样本集中选择部分样本进行标注的步骤包括：

按照排序结果，选择多个位置区间；

为每个位置区间分配采样率，其中，排序靠前的位置区间的采样率大于排序靠后的位置区间的采样率；

根据采样率，提取各位置区间对应的来自第一聚类群的聚类，对提取的各聚类中的所有样本进行标注。

5.根据权利要求4所述的样本筛选方法，其特征在于，所述根据所述活跃值，从所述未标注样本集中选择部分样本进行标注的步骤包括：

从选自所述第一聚类群的各聚类中，选择活跃值小于预设活跃值，且排序顺序位于预设顺序之前的聚类，对选择的各聚类中的所有样本进行标注。

6.根据权利要求1所述的样本筛选方法，其特征在于，还包括：

将所述未标注样本集输入预训练的神经网络模型中，得到对应的分类概率；

计算各所述分类概率的熵值，剔除熵值大于预设熵值的未标注样本。

7.一种神经网络模型的训练方法，其特征在于，包括：

步骤一、采用权利要求1-6中任一项所述的样本筛选方法，筛选第二训练集中的样本，得到新的第二训练集；

步骤二、采用新的第二训练集，在交叉熵损失函数的约束下，训练初始神经网络模型；

训练过程中，判断初始神经网络模型是否收敛，

若收敛，停止训练，得到训练后的神经网络模型；

否则，返回步骤一，重新筛选第二训练集中的样本。

8.一种样本筛选系统，其特征在于，包括：

样本构建模块，用于构建第一训练集，所述第一训练集包括未标注样本集和标注样本集；

距离计算模块，用于计算所述未标注样本集和标注样本集之间的距离，并按照从小到大的顺序进行排序，得到排序结果；

活跃值计算模块，用于将所述未标注样本集输入预训练的神经网络模型中，提取对应的表征参数，计算各表征参数的活跃值；

处理模块，用于根据所述排序结果和所述活跃值，从所述未标注样本集中选择部分样本进行标注，并将标注后的样本加入所述标注样本集中，形成新的标注样本集；

所述样本构建模块，还用于组合所述未标注样本集中剩余的样本、所述新的标注样本集，形成筛选后的第一训练集。