[发明专利]多模态数据的融合概率潜在语义分析方法

说明书

技术领域

本发明属于概率潜在语义分析技术领域，尤其涉及一种多模态数据的融合概率潜在语义分析方法。

背景技术

概率潜在语义分析是一种观察值(词汇-文档的共现)的产生模型，通过潜在语义空间的引入，利用多项式分布和条件分布的混合来建模共现的概率。目前，它已被广泛的应用于信息检索、自然语言处理、音视频处理等研究领域。

通常，概率潜在语义分析模型只适用于单模态数据，对于更为复杂的多模态数据具有一定的局限性。多模态数据包含多个相互关联的模态，它们试图描述同一内容，但在对数据内容表达的贡献上却存在差异。在这种情况下，对于每个模态得到的共现矩阵，现有的概率潜在语义分析方法可采用如下两种处理方法：一是以相同的权重将不同模态的共现矩阵联立，再进行标准的语义分析；二是采用非对称的方式仅对一个模态的潜在语义空间进行估计，再由该空间产生所有模态的观察值。

以上两种方法或是忽略了不同模态的本质差异，或是只片面的描述了数据本身的内容关联，都不能给予多模态数据的本质，即每个模态对潜在语义空间贡献的差异性和它们之间内容的关联性，以充分的描述。因此，这就需要一种用于多模态数据的概率潜在语义分析模型。

发明内容

针对上述背景技术中提到的现有方法忽略了不同模态的本质差异等不足，本发明提出了一种多模态数据的融合概率潜在语义分析方法。

本发明的技术方案是，多模态数据的融合概率潜在语义分析方法，其特征是该方法包括以下步骤：

步骤1：建立各个模态的标准概率潜在语义分析模型，在此基础上建立融合模型；

步骤2：确定融合模型的工作空间，并选定主题数；

步骤3：将融合模型分解为非对称的概率潜在语义分析模型，根据融合模型的输入值和选定主题数，计算非对称的概率潜在语义分析模型的初始参数值；

步骤4：通过最大期望算法对初始参数值更新，得到最终参数；

步骤5：利用最终参数对待检测的模态进行分析。

所述最大期望算法的计算公式为：

L=Πi=1M(Πp=1NAp(wpA,di)n(wpA,di)Πq=1NVp(wqV,di)n(wqV,di))]]>

其中：

L为似然函数值；

为模态A的共现概率；

为模态V的共现概率；