[发明专利]一种模型参数训练方法及装置

说明书

本发明实施例公开了一种模型参数训练方法及装置。该方法包括：获取样本数据集合和根据所述样本数据集合进行预测的数据模型，所述样本数据集合包括已标注样本和未标注样本，所述数据模型包括初始化的第一参数V的向量和第二参数U的向量；根据所述已标注样本训练所述第一参数V和所述第二参数U；对已根据所述已标注样本训练后的第一参数V和第二参数U,根据所述未标注样本再次训练。本发明实施例所提供的技术方案，对于无法提供预测值上限的预测模型而言，充分利用大量的未标注样本和少量的标注样本来训练模型参数，节省了大量用于标注样本的人力成本。

技术领域

本发明实施例涉及机器学习技术，尤其涉及一种模型参数训练方法及装置。

背景技术

根据输入和参数预测输出的模型可用于人工智能，例如根据用户输入的口语化的文本准确识别出用户需要的文件，再如根据输入的图像准确识别出图中的对象。对于一般的机器学习算法而言，模型的性能主要取决于它的参数配置。采用不同的参数组合生成的模型往往具有很大的性能差异。通常模型的参数需要训练。

参数训练的基本定义如下：给定一个训练数据集X_T，参数训练的目标是找一个机器学习算法F的参数组合θ，在X_T上建立一个模型f，使得f在给定性能评测准则g(·)下最大化(或者最小化)性能评测值。需要进行参数训练来找到最适合的参数才能确定最终的模型性能。

在机器学习过程中，需要利用多个训练样本对训练模型进行多次训练，最终获得精准度符合预定要求的模型，即理想模型。其中，在训练之前，该训练模型中的模型参数是未知的，而经过训练之后，该训练模型中的模型参数即被确定下来且是已知的。

通常情况下，需要提供大量的标注样本{(x,y)}来训练学习模型参数w。其中一种现有技术的方案是：首先初始化模型参数向量w，然后枚举已标注样本集合D^L中的每一个已标注样本(x,y)，在当前模型参数w下，计算如果则使用公式更新模型参数，再进行下一个已标注样本的计算，当所有已标注样本都被使用后，整个训练过程结束，所得的模型参数向量即为所训练的模型。这种技术的缺点是需要提供大量的标注样本，然而数据的标注需要大量的人力成本，费力费时。

使用少量的标注样本以及大量的未标注样本来学习模型，从而可以在一定程度上缓解上述现有技术的缺点。另外一种现有技术的方案是：先使用已有的少量标注样本来学习一个比较弱的模型，然后使用该弱模型对未标注样本进行预测，例如预测值是0-1之间的概率值，因此可以设定一个阈值(比如0.9)来筛选出大于该阈值的数据及其预测结果作为“伪标注样本”，并与原有的标注样本一起重新学习一个新的模型，接着再次使用该新的模型来对剩下的未标注样本进行预测，然后再次筛选出大于阈值的数据及其预测结果作为新的“伪标注样本”，如此迭代下去，直到不能再筛选出新的数据作为“伪标注样本”为止。至此，我们已经使用少量的标注样本以及大量的未标注样本来学习一个比只使用少量标注样本学习还要好的模型。该技术的核心是需要设定一个合理的阈值来筛选出“伪标注样本”以增加标注样本的量，从而可以学习一个更好的模型。然而，有些机器学习模型在新的数据上的预测值并没有上限，因此根本给不出一个合理的阈值来筛选“伪标注样本”，从而在这种情况下仍然无法利用未标注样本来缓解第一种现有技术中标注样本稀少的缺点。

现有技术存在两个缺点：要么依赖大量的标注样本、要么需要提供阈值才可以利用未标注样本来缓解标注样本稀少的问题。

发明内容

本发明实施例提供一种模型参数训练方法及装置，可以在缺少标注样本和阈值的情况下训练模型参数。

第一方面，本发明实施例提供了一种模型参数训练方法，包括：获取样本数据集合和根据所述样本数据集合进行预测的数据模型，所述样本数据集合包括已标注样本和未标注样本，所述数据模型包括初始化的第一参数V的向量和第二参数U的向量；根据所述已标注样本训练所述第一参数V和所述第二参数U；对已根据所述已标注样本训练后的第一参数V和第二参数U,根据所述未标注样本再次训练。