[发明专利]一种基于事件本体的多模态事件表示学习方法

权利要求书

1.一种基于事件本体的多模态事件表示学习方法，其特征在于：包括：

相关领域事件本体的构建并形成事件本体模型；

初始多模态事件信息数据的预处理，根据事件本体中定义的语言表现，将不同的事件归并到不同的事件类中；

采用本体模型和多模态预训练模型对多模态事件数据进行嵌入表示；

采用图卷积神经网络模型学习本体中由事件和事件以及事件和关系所构成的图结构。

2.根据权利要求1所述的一种基于事件本体的多模态事件表示学习方法，其特征在于：所述相关领域事件本体的构建并形成事件本体模型，具体包括：

(1)相关领域文本语料库的构建；

(2)通过学习语料库，从待表示的多模态事件信息中的领域文本内容中抽取所表述的事件以及事件各要素；

(3)事件类分类以及非分类关系的抽取；

(4)根据归纳得到的事件类、事件类要素、事件类关系抽象得到其形式化的语言描述；

(5)采用词向量预训练模型对得到的语言描述进行嵌入表示，并对全部语言表现的词嵌入进行加权求和以形成事件本体模型。

3.根据权利要求2所述的一种基于事件本体的多模态事件表示学习方法，其特征在于：所述根据归纳得到的事件类、事件类要素、事件类关系抽象得到其形式化的语言描述，具体满足下述定义：

EO∶:＝ECs,Rs,Rules

Rs∶:＝{R_{is_a},R_follow,R_choice,R_cause,R_compose,R_concur}

其中ECs是所有事件类的集合，Rs包括事件类之间的分类关系和非分类关系，Rules表示事件推理的规则。

4.根据权利要求2所述的一种基于事件本体的多模态事件表示学习方法，其特征在于：所述采用词向量预训练模型对得到的语言描述进行嵌入表示，并对全部语言表现的词嵌入进行加权求和以形成事件本体模型，具体满足下述公式：

其中，t表示事件的参数向量，v表示使用词向量预训练模型生成的嵌入,w_i表示第i个事件要素所对应的权重。

5.根据权利要求1所述的一种基于事件本体的多模态事件表示学习方法，其特征在于：所述初始多模态事件信息数据的预处理，根据事件本体中定义的语言表现，将不同的事件归并到不同的事件类中，具体包括：

采用目标检测算法提取图片信息中的对象区域及该区域的特征表示；

提取文本信息中某事件的核心关键词并根据本体定义的语言表现进行余弦相似度计算并归类。

6.根据权利要求5所述的一种基于事件本体的多模态事件表示学习方法，其特征在于：所述提取文本信息中某事件的核心关键词并根据本体定义的语言表现进行余弦相似度计算并归类，具体满足下述公式：

其中，e_c表示某一事件类的n维嵌入表示，α表示对事件文本关键词求均值得到的嵌入表示,Sim(e_c,α)表示该事件与事件类的相似度。

7.根据权利要求1所述的一种基于事件本体的多模态事件表示学习方法，其特征在于：所述采用本体模型和多模态预训练模型对多模态事件数据进行嵌入表示，具体包括：

采集大量事件文本-图片的数据对；

根据模型的框架对这些文本-图像对进行学习得到其语义空间；

将待表示的文本-图像数据作为模型的输入并得到其嵌入表示；

将其所属的事件类对应的嵌入表示与模型的输出进行拼接融合。