[发明专利]紧凑的无语言面部表情嵌入和新颖三元组的训练方案

权利要求书

1.一种计算机系统，所述计算机系统包括:

面部表情模型，被配置为接收描绘面部的输入图像，并且作为响应，提供面部表情嵌入，所述面部表情嵌入对描述由输入图像中描绘的面部做出的面部表情的信息进行编码；

一个或多个处理器；和

存储指令的一个或多个非暂时性计算机可读介质，当所述指令被所述一个或多个处理器执行时，使得所述计算机系统:

获得所述描绘面部的输入图像；

将所述输入图像输入所述面部表情模型；以及

从所述面部表情模型接收对描述由所述面部做出的面部表情的信息进行编码的面部表情嵌入；

其中所述面部表情模型已经在训练数据集上被训练，所述训练数据集包括组织成图像三元组的多个图像；

其中每个图像三元组包括标记，所述标记指示包括在这样的图像三元组中的三个图像中的哪两个已经被评估为这样的图像三元组中最相似的图像对；

其中每个图像三元组包括第一图像、第二图像和第三图像，其中所述第一图像和所述第二图像已经被评估为所述图像三元组中最相似的图像对；

所述面部表情模型已经用编码第一约束和第二约束两者的目标函数来训练；

其中所述第一约束包括第一要求，所述第一要求是所述面部表情模型为所述第一图像提供的第一嵌入和所述面部表情模型为所述第二图像提供的第二嵌入之间的第一距离小于所述第一嵌入和所述面部表情模型为所述第三图像提供的第三嵌入之间的第二距离；以及

其中所述第二约束包括第二要求，所述第二要求是所述第一嵌入和所述第二嵌入之间的第一距离小于所述面部表情模型为所述第二图像提供的第二嵌入和所述面部表情模型为所述第三图像提供的第三嵌入之间的第三距离。

2.根据权利要求1所述的计算机系统，其中，对于每个图像三元组，三个图像中没有一个被指示为锚图像。

3.根据权利要求1所述的计算机系统，其中所述面部表情模型包括卷积神经网络。

4.根据权利要求1所述的计算机系统，其中所述面部表情嵌入包括无语言面部表情嵌入。

5.根据权利要求1所述的计算机系统，其中所述指令的执行还使得所述计算机系统:

至少部分基于所述面部表情嵌入识别至少一个附加图像，作为响应于与所述输入图像相关联的搜索查询的搜索结果，所述至少一个附加图像描绘了与由所述输入图像描绘的由面部做出的面部表情相同的面部表情，其中为了识别所述至少一个附加图像作为所述搜索结果，所述计算机系统将与所述输入图像相关联的面部表情嵌入与分别与作为潜在搜索结果的多个候选图像相关联的多个附加面部表情嵌入进行比较。

6.根据权利要求1所述的计算机系统，其中所述指令的执行还使得所述计算机系统:

至少部分基于所述面部表情嵌入，识别具有与由所述面部做出的面部表情最相似的表情的表情符号。

7.根据权利要求1所述的计算机系统，其中所述指令的执行还使得所述计算机系统:

将多个图像分别输入到所述面部表情模型中，以分别获得所述多个图像的多个面部表情嵌入；以及

至少部分地基于所述多个面部表情嵌入，将所述多个图像分类成两个或更多个聚类。

8.根据权利要求1所述的计算机系统，其中所述指令的执行还使得所述计算机系统:

至少部分基于所述面部表情嵌入来为所述输入图像确定分数，其中所述输入图像的分数指示所述输入图像中的面部表情满足期望的面部表情的程度；以及

执行以下至少一项操作:

至少部分基于为所述输入图像确定的分数相对于为一组图像确定的其他分数，从所述一组图像中选择具有最高分数的图像作为最佳镜头；以及

至少部分基于为所述输入图像确定的分数，确定是存储所述输入图像的非临时副本还是丢弃所述输入图像的临时副本而不存储所述输入图像的非临时副本。

9.根据权利要求1所述的计算机系统，其中所述指令的执行还使得所述计算机系统:

至少部分基于为所述输入图像提供的面部表情嵌入来控制木偶面部。