[发明专利]基于样本剔除的模型训练方法及设备

权利要求书

1.一种基于样本剔除的模型训练方法，其中，该方法包括：

使用原始训练集中的样本对模型进行一轮迭代训练直至模型收敛，其中，每一轮迭代训练包括多次迭代训练；同时在当前轮的迭代训练的各次迭代训练阶段获取所述原始训练集中所有样本的损失值，并对原始训练集中所有样本的损失值进行统计学分析，得到统计学分析结果；

基于所述统计学分析结果，确定所述原始训练集中的样本的各类型的损失对应的损失值的容易样本阈值范围；

使用原始训练集对所述模型进行的新的一轮迭代训练，在当前轮的迭代训练中，判断所述原始训练集中的每个样本的各类型的损失的对应的损失值是否在相应的容易样本阈值范围之内，以得到所述原始训练集中容易样本，将容易样本从所述原始训练集中剔除，将原始训练集中剩余的样本作为新的训练集；

使用新的训练集对所述模型进行的当前轮迭代训练的后续的迭代训练，直至模型收敛。

2.根据权利要求1所述的方法，其中，对原始训练集中所有样本的损失值进行统计学分析，得到统计学分析结果，包括：

对原始训练集中所有样本的损失值进行统计学分析，得到所有样本的损失值的取值范围，基于模型训练目标和所有样本的损失值的取值范围，初步筛选一个或多个类型的损失；

基于所有样本的损失值的取值范围，分析在当前轮的迭代训练的各次迭代训练阶段中损失值的分布的变化情况，基于所述变化情况确定原始训练集中所有样本的整体损失值收敛的训练迭代次数的次数阈值N，N大于等于1；

若初步筛选损失的类型为多个，分析不同类型的损失之间的相关性，基于所述相关性从所述初步筛选损失的类型中进一步筛选出最终的一个或多个类型的损失。

3.根据权利要求2所述的方法，其中，对原始训练集中所有样本的损失值进行统计学分析，得到所有样本的损失值的取值范围，基于模型训练目标和所有样本的损失值的取值范围，初步筛选一个或多个类型的损失，包括：

对原始训练集中所有样本的损失值进行统计学分析，得到所有样本的损失值的取值范围；

基于所有样本的损失值的取值范围获取高损失值的样本和低损失值的样本；

基于获取到的高损失值的样本和低损失值的样本，初步筛选一个或多个类型的损失。

4.根据权利要求2所述的方法，其中，若初步筛选损失的类型为多个，分析不同类型的损失之间的相关性，基于所述相关性从所述初步筛选损失的类型中进一步筛选出最终的一个或多个类型的损失，包括：

若初步筛选损失的类型为多个，分析不同类型的损失之间的相关性，得到相关性小于预设相关性阈值的一个或多个类型的损失；

将相关性小于预设相关性阈值的一个或多个类型的损失作为筛选出的最终的一个或多个类型的损失。

5.根据权利要求2所述的方法，其中，基于所述统计学分析结果，确定所述原始训练集中的样本的各类型的损失对应的损失值的容易样本阈值范围，包括：

确定进一步筛选出的最终的一个或多个类型的损失的对应的损失值的容易样本阈值范围。

6.根据权利要求5所述的方法，其中，确定进一步筛选出的最终的一个或多个类型的损失的对应的损失值的容易样本阈值范围，包括：

对筛选出的最终的每一类型的损失，分析最终的每一类型的损失的损失值的取值范围在当前轮的迭代训练的各次迭代训练阶段的变化，当某次次迭代训练阶段的损失值的取值范围相对变化小于预设变化阈值时，确认模型此时已经收敛；

选取模型收敛时相对变化小于预设变化阈值的损失值的取值范围的预设百分位数作为容易样本阈值范围。