[发明专利]基于多种数据类型的特征融合的模型训练系统及方法

权利要求书

1.一种方法，包括：

通过一个或多个处理电路接收第一数据类型的多个第一数据元素和第二数据类型的多个第二数据元素，其中，所述第一数据类型为文本数据，并且所述第二数据类型为图像数据或视频数据中的至少一个；

通过所述一个或多个处理电路识别所述多个第一数据元素中的每个的第一特征；

通过所述一个或多个处理电路识别所述多个第二数据元素中的每个的第二特征；

通过所述一个或多个处理电路，通过将所述多个第一数据元素中的每个的所述第一特征中的第一特征与所述多个第二数据元素中的一个的所述第二特征中的第二特征进行组合来生成合并特征，其中所述第一特征和所述第二特征各自表示共同特征；

通过所述一个或多个处理电路，基于所述共同特征以及所述第一特征和所述第二特征的至少一部分来训练模型；以及

基于所述模型对内容项进行分类，其中，所述内容项包括内容文本和内容图像或内容视频中的至少一个。

2.根据权利要求1所述的方法，其中，所述多个第一数据元素中的每个与所述多个第二数据元素中的一个相关联；

其中，通过所述一个或多个处理电路生成所述合并特征包括：将所述多个第一数据元素中的每个的所述第一特征中的第一特征与所述多个第二数据元素中的与所述多个第一数据元素中的每个相关联的一个的所述第二特征中的第二特征进行组合。

3.根据权利要求1所述的方法，其中，通过所述一个或多个处理电路识别所述第一特征和所述第二特征包括：将一个或多个模型应用于所述多个第一数据元素和所述多个第二数据元素，其中所述一个或多个模型从所述多个第一数据元素中提取所述第一特征，并从所述多个第二数据元素中提取所述第二特征。

4.根据权利要求3所述的方法，其中，所述一个或多个模型包括图像嵌入模型、视频嵌入模型、对象识别模型、音频翻译模型和光学字符识别模型中的至少一个。

5.根据权利要求1所述的方法，其中，将所述第一特征与所述第二特征进行组合包括：对所述第一特征的表示所述第一特征的第一置信度的第一值与所述第二特征的表示所述第二特征的第二置信度的第二值执行运算。

6.根据权利要求5所述的方法，其中，所述操作是以下至少之一：

选择所述第一值和所述第二值中的最大值的最大值运算；

将所述第一值和所述第二值相加的求和运算；

确定所述第一值和所述第二值的中值的中值运算；以及

选择所述第一值和所述第二值中的最小值的最小值运算。

7.根据权利要求1所述的方法，进一步包括：

通过所述一个或多个处理电路接收包括所述第一数据类型的第一数据元素和所述第二数据类型的第二数据元素的数据元素；

通过所述一个或多个处理电路提取所述第一数据元素的第一推断特征和所述第二数据元素的第二推断特征；

通过所述一个或多个处理电路，通过将所述第一推断特征中的一个或多个与所述第二推断特征中的一个或多个进行组合来生成一个或多个合并特征，其中所述第一推断特征中的所述一个或多个中的每个是所述第二推断特征中的所述一个或多个中的一个的特定共同特征；

通过所述一个或多个处理电路识别对所述第一数据类型独特的所述第一分类特征的独特第一分类特征；

通过所述一个或多个处理电路识别对所述第二数据类型独特的第二分类特征的独特第二分类特征；以及

通过所述一个或多个处理电路，通过将所述一个或多个合并特征、所述独特第一分类特征、所述独特第二分类特征作为输入应用于所述模型，生成所述模型的模型输出。

8.根据权利要求1所述的方法，其中，所述第一数据类型是基于文本的数据类型，并且所述第二数据类型是图像数据类型或视频数据类型中的至少一个。