[发明专利]基于多种数据类型的特征融合的模型训练系统及方法

说明书

可用于基于两个或更多个不同数据类型的合并共同特征来训练模型的系统、方法和计算机可读存储介质。一种方法包括：接收第一数据类型的多个第一数据元素和第二数据类型的多个第二数据元素；识别多个第一数据元素中的每个的第一特征；识别多个第二数据元素中的每个的第二特征；通过将多个第一数据元素中的每个的第一特征的第一特征与多个第二数据元素中的一个的第二特征的第二特征进行组合来生成合并特征，其中第一特征和第二特征各自表示共同特征；并基于合并特征以及第一特征和第二特征的至少一部分来训练模型。

背景技术

本公开总体上涉及基于多种模态的数据的模型训练。一些内容项可以包括多件内容，例如图像和文本。但是，图像和文本都属于不同的数据模态。可以基于来自数据模态的数据来训练对多个数据模态的内容项进行分类的模型。

用于训练分类模型的一些训练方法可以假设跨多个模态的数据点被直接链接(例如，视频的字幕或实验室报告的临床注释)以利用零次(zero-shot)学习。替代地，某些训练方法可以在同一嵌入空间中共同训练多种类型的内容数据(例如，图像、视频、HTML5、应用数据等)。这些训练方法需要存在大量标记的多媒体数据(例如，图像和/或视频数据)，或者通过与其他内容类型的接近而隐式标记的多媒体。可能无法获得该大量数据，尤其是在基于图像的内容的情况下，可能需要大量的用户查看和手动分类。此外，基于视频的内容可能花费大量的用户检查时间来进行分类，并且因此增加的成本。

发明内容

通常，可以以包括以下方法的方法来实现本说明书中描述的主题的一个创新方面：通过一个或多个处理电路，接收第一数据类型的多个第一数据元素和第二数据类型的多个第二数据元素，其中，第一数据类型为文本数据，并且第二数据类型为图像数据或视频数据中的至少一个。该方法包括通过一个或多个处理电路识别多个第一数据元素中的每个的第一特征，以及通过一个或多个处理电路识别多个第二数据元素中的每个的第二特征。该方法包括通过一个或多个处理电路，通过将多个第一数据元素中的每个的第一特征的第一特征与多个第二数据元素中的一个的第二特征的第二特征进行组合来生成合并特征，其中第一特征和第二特征各自表示共同特征；通过一个或多个处理电路基于共同特征以及第一特征和第二特征的至少一部分训练模型，并基于模型对内容项进行分类，其中，内容项包括内容文本和内容图像或内容视频中的至少一个。在一些实施例中，内容项包括与视频数据特征(而不是文本特征，或者除了文本特征之外)融合的图像数据特征。

通常，可以在包括一个或多个存储设备的系统中找到本说明书中描述的主题的另一方面，该存储设备被配置为在其上存储指令，指令在由一个或多个处理器执行时，使一个或多个处理器：接收第一数据类型的多个第一数据元素和第二数据类型的多个第二数据元素，识别多个第一数据元素中的每个的第一特征，并识别多个第二数据元素中的每个的第二特征。指令一个或多个处理器通过将多个第一数据元素中的每个的第一特征的第一特征与多个第二数据元素中的一个的第二特征的第二特征进行组合来生成合并特征，其中第一特征和第二特征各自表示共同特征以及基于共同特征以及第一特征和第二特征的至少一部分训练模型。

通常，可以在一个或多个计算机可读存储介质中实现本说明书中描述的主题的另一方面，该计算机可读存储介质被配置为在其上存储指令，指令在由一个或多个处理器执行时，使该一个或多个处理器：接收第一数据类型的多个第一数据元素和第二数据类型的多个第二数据元素，识别多个第一数据元素中的每个的第一特征，并识别多个第二数据元素中的每个的第二特征。指令一个或多个处理器通过将多个第一数据元素中的每个的第一特征的第一特征与多个第二数据元素中的一个的第二特征的第二特征进行组合来生成合并特征，其中第一特征和第二特征各自表示共同特征以及基于共同特征以及第一特征和第二特征的至少一部分训练模型。

附图说明

本说明书中描述的主题的一种或多种实施方式的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，本主题的其他特征、方面和优点将变得显而易见。

图1是根据说明性实施方式的包括模型管理器和合并功能的分析系统的框图，该模型管理器和合并功能实现用于模型训练的多种数据类型的特征合并。