[发明专利]一种跨模态情感知识图谱构建方法及装置

说明书

本发明提供一种跨模态情感知识图谱构建方法及装置，所述方法包括：接收用户跨模态情感数据；提取所述跨模态情感数据中每种模态情感数据的情感特征值；根据所述情感特征值生成情感共现矩阵；根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集；最后构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组，并将该三元组结构作为跨模态情感知识图谱。从而为情感知识图谱的跨模态应用场景提供更为有价值的参考。

技术领域

本发明涉及情感计算技术领域，具体涉及一种跨模态情感知识图谱构建方法及装置。

背景技术

情感计算技术在人工智能研究特别是人机交互应用领域具有至关重要的作用。随着5G通信、虚拟现实、车联网等先进技术的普及，信息交流及人机交互形态也从文字、图像、音频、视频等单一模态逐步过渡到相互融合的多种媒体形态。因此，跨模态情感计算成为近年来情感计算的研究热点。

传统的情感知识图谱构建过程中，不能将来自异构跨模态情感特征有效关联，因此以单一模态情感特征为核心所构建的情感知识图谱是一个个孤立的抽取图谱，无法真正反映跨模态数据中的情感知识。为了形成一个真正的跨模态情感知识图谱，则需要将这些情感知关联和集成在一起，从而有效支撑跨模态情感计算过程。因此，有必要提出一种新的情感知识图谱构建方法及装置。

发明内容

针对现有技术的不足，本发明提出一种跨模态情感知识图谱构建方法，所述方法包括：步骤S101，接收用户跨模态情感数据；步骤S102，提取所述跨模态情感数据中每种模态情感数据的情感特征值；步骤S103，根据所述情感特征值生成情感共现矩阵；步骤S104，根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集；以及步骤S105，构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组。

示例性地，所述步骤S103中所述情感共现矩阵中的元素用以指示所述元素所在的行对应的第一模态情感特征值与所述元素所在的列对应的第二模态情感特征值之间的共现次数。示例性地，所述步骤S104中所述情感倾向聚类算法为概率潜在语义分析算法。

另一方面，本发明还提供一种跨模态情感知识图谱构建装置，所述装置包括：情感数据接收模块，用于接收用户跨模态情感数据；情感特征提取模块，用于提取所述跨模态情感数据中每种模态情感数据的情感特征值；情感共现矩阵生成模块，用于根据所述情感特征值生成情感共现矩阵；情感倾向划分模块，用于根据聚类算法对所述情感共现矩阵进行情感倾向聚类，将所述情感共现矩阵中第一模态情感特征值集合和第二模态情感特征值集合同时划分到多个不同的情感倾向子集；以及知识图谱生成模块，用于构建由情感倾向、第一模态情感特征值子集、第二模态情感特征值子集组成的三元组。

示例性地，所述情感共现矩阵生成模块中所述情感共现矩阵中的元素用以指示所述元素所在的行对应的第一模态情感特征值与所述元素所在的列对应的第二模态情感特征值之间的共现次数。示例性地，所述情感倾向划分模块中所述情感倾向聚类算法为概率潜在语义分析算法。

本发明提供的跨模态情感知识图谱构建方法及装置能够将来自异构跨模态情感特征进行有效关联和划分，从而实现跨模态情感知识图谱的构建，为跨模态情感计算的应用场景提供更为有价值的参考。

附图说明

本发明的下列附图在此作为本发明的一部分用于理解本发明。附图中示出了本发明的实施例及其描述，用来解释本发明的原理。

附图中：

图1示出了根据本发明的实施例的一种跨模态情感知识图谱构建方法100的流程图；

图2示出了根据本发明的实施例的一种跨模态情感知识图谱构建装置200的结构框图。