[发明专利]一种多模态数据表示学习方法及系统

摘要

本发明公开一种多模态数据表示学习方法及系统，通过接收目标多模态数据，并获取目标多模态数据对应的各个模态以及各个模态的特征表示；根据目标多模态数据、特征表示和预设图随机走模型获取融合多模态特征的数据表示和词典表示；根据预设数据重构模型、数据表示和词典表示，获取低维判别表示最优解和词典最优表示并存储于数据库。基于上述公开的方法，同时解决了处理多模态数据时存在的异构性、数据量大、数据缺失和计算代价大的问题。

主权项

1.一种多模态数据表示学习方法，其特征在于，应用于一种多模态数据表示学习系统，包括：接收目标多模态数据，并获取所述目标多模态数据对应的各个模态以及所述各个模态的特征表示；根据所述目标多模态数据、所述特征表示和预设图随机走模型获取融合多模态特征的数据表示和词典表示；根据预设数据重构模型、所述数据表示和所述词典表示，获取低维判别表示最优解和词典最优表示并存储于数据库；其中，所述根据所述目标多模态数据、所述特征表示、预设相似度算法和预设图随机走模型获取融合多模态特征的数据表示和词典表示，包括：根据所述目标多模态数据选取词典原子，并根据所述特征表示提取所述词典原子相应的特征表示，得到所述各个模态的模式词典；基于所述模式词典编码所述目标多模态数据，并根据预设相似度算法计算所述目标多模态数据和所述模式词典在所述各个模态下的相似度，得到所述各个模态的近邻图其中，为所述目标多模态数据中第i个数据与所述模式词典中第j个原子的相似度值，为第m个模态下所述模式词典中的第j个原子，为第m个模态下所述模式词典中第j个原子在所述目标多模态数据中第i个数据的第一预设范围内的近邻集合；依据所述预设图随机走模型迭代计算所述近邻图，获取所述各个模态的迭代稳态并确定为融合多模态特征的所述数据表示X^M，并根据所述数据表示更新所述模式词典，得到融合多模态特征的所述词典表示；其中，p_m为第m个第一预设参数，取值范围为0～1，n为迭代次数；所述根据预设数据重构模型、所述数据表示和所述词典表示，获取低维判别表示最优解和词典最优表示并存储于数据库，包括：基于预设数据重构模型并根据增量式拉格朗日乘子和梯度下降法求解所述数据表示和所述词典表示，得到数据表示有效解和词典表示有效解其中，Subject to Z＝J，Z为所述数据表示，D^M为所述词典表示，P^M为所述词典表示上的距离矩阵，W_ij为所述目标多模态数据中第i个数据与所述模式词典中第j个原子在第v个预设模态上的相似度值，为所述目标多模态数据中第f个数据与所述模式词典中第i个原子在第v个所述预设模态上相似度值，所述目标多模态数据中第j个数据与所述模式词典中的第i个原子在第v个所述预设模态上的相似度值，d为所述词典表示中原子数目；判断所述数据表示有效解和所述词典表示有效解是否收敛；若是，将所述数据表示有效解确定为低维判别表示最优解，将所述词典表示有效解确定为所述词典最优表示，并将所述低维判别表示最优解和所述词典最优表示存储于数据库；若否，返回执行所述根据增量式拉格朗日乘子和梯度下降法求解所述数据表示和所述词典表示，得到数据表示有效解和词典表示有效解这一步骤；所述根据所述目标多模态数据选取词典原子，并根据所述特征表示提取所述词典原子相应的特征表示，得到所述各个模态的模式词典，包括：判断所述目标多模态数据是否带有标签；若否，选取所述特征表示中的任意一个作为单一模态，基于预设中心聚类算法对所述单一模态对应的目标多模态数据进行聚类处理，并选取聚类中心点第二预设范围内的目标多模态数据作为所述词典原子；若是，选取预设数量的所述带标签数据作为所述词典原子；获取所述词典原子相应的特征表示，构成所述模式词典。