[发明专利]紧凑的无语言面部表情嵌入和新颖三元组的训练方案

说明书

本公开提供了包括或以其他方式利用面部表情模型的系统和方法，该面部表情模型被配置为提供面部表情嵌入。具体而言，面部表情模型可以接收描绘面部的输入图像，并且作为响应，提供面部表情嵌入，该面部表情嵌入对描述由输入图像中描绘的面部做出的面部表情的信息进行编码。例如，面部表情模型可以是或包括神经网络，诸如卷积神经网络。本公开还提供了一种新颖且独特的三元组训练方案，其不依赖于将特定图像指定为锚或参考图像。

技术领域

本公开总体上涉及机器学习。更具体地，本公开涉及紧凑的无语言(language-free)面部表情嵌入和相关联的新颖的三元组(triplet)训练技术。

背景技术

机器学习通常指的是计算机科学的一个领域，该领域的重点是诸如计算机的机器能够在没有明确编程的情况下学习。机器学习包括研究和构建机器执行的、使机器能够从数据中学习并对数据做出预测的算法或技术。具体而言，这种算法可以通过从输入观察的训练集建立模型来操作，以便做出被表达为输出的、由数据驱动的预测或决策，而不是严格遵循静态编程指令。

机器学习技术的一个主要分支包括监督学习技术。监督学习可以包括从包括许多标记示例的训练数据集推断或学习函数或模型。例如，训练数据集中的每个示例可以包括一个或多个输入值(可以被表达为具有多个特征的向量、二维矩阵或其他格式)和一个或多个期望的输出值(也可以称为监督信号)。通常，使用提供输入值和输出值的已知的地面真值(ground truth)信息来标记受监督的训练数据。受监督的机器学习算法可以分析训练数据并产生推断模型，然后该模型可以用于对新的、未标记的示例进行映射或做出预测。

然而，在许多场景中，标记的数据和/或地面真值数据可能难以获得和/或获得成本高昂。例如，数据的手动标记可能要求人类确定并向大量的训练示例提供大量的标记，这可能要求过多的时间和费用。此外，提供手动标记在概念上具有挑战性，因为在某些情况下，可能要求(多个)人类标记员提前就具体哪些标记可供使用达成一致。即使假设对可用标记的词汇表达成一致，标记员也可能不同意应用哪个标记，或者如何或何时将标记应用于给定的训练示例。

发明内容

本公开的实施例的方面和优点将在以下描述中部分阐述，或者可以从描述中获知，或者可以通过实施例的实践获知。

本公开的一个示例方面针对一种计算机系统。该计算机系统包括面部表情模型，所述面部表情模型被配置为接收描绘面部的输入图像，并且作为响应，提供面部表情嵌入，所述面部表情嵌入对描述由输入图像中描绘的面部做出的面部表情的信息进行编码。该计算机系统包括一个或多个处理器，和存储指令的一个或多个非暂时性计算机可读介质，当所述指令被所述一个或多个处理器执行时，使得所述计算机系统:获得描绘面部的输入图像；将所述输入图像输入所述面部表情模型；并且从所述面部表情模型接收对描述由所述面部做出的面部表情的信息进行编码的面部表情嵌入。

本公开的另一示例方面针对一种用于训练面部表情模型的计算机实施的方法。该方法包括接收训练数据，所述训练数据包括描绘面部的多个图像三元组和对应于每个三元组的相似性信息。每个三元组的相似性信息指示这样的三元组的哪两个图像已经被确定为在面部表情方面最相似的图像对。没有一个图像被指示为所述三元组的其他两个图像已经与之进行了比较的参考图像。该方法包括使用所述训练数据训练面部表情模型，使得最相似的图像对之间的嵌入空间中的距离小于所述图像对中的每个图像和所述三元组中的第三图像之间的相应距离。

作为示例，在一些实施方式中，使用所述训练数据训练面部表情模型可以包括：使用所述训练数据来训练所述面部表情模型，使得最相似的图像对之间的嵌入空间中的距离比所述图像对中的每个图像和所述三元组中的第三图像之间的相应距离小至少一个余量(margin)。