[发明专利]基于配图的命名实体识别方法、装置以及设备

权利要求书

1.一种基于配图的命名实体识别方法，其特征在于，包括：

根据预定策略，获取待处理文本的深层信息以及所述待处理文本附带的配图的属性信息，其中所述属性信息以文本形式表征，获取所述属性信息包括：基于图像分类策略，获得以文本形式表达的所述配图的类型信息；所述获取待处理文本的深层信息包括：根据预先构建的多模态知识图谱，获取待处理文本的实体知识信息，其中，所述多模态知识图谱包括若干实体以及与实体相关联的图片；

提取所述待处理文本的文本信息以及所述配图的视觉信息；

结合所述文本信息、所述深层信息、所述属性信息以及所述视觉信息进行命名实体识别处理，得到所述待处理文本的实体类型序列。

2.根据权利要求1所述的命名实体识别方法，其特征在于，所述根据预先构建的多模态知识图谱，获取待处理文本的实体知识信息包括：

利用所述多模态知识图谱，匹配出待处理文本的若干个候选实体；

利用所述配图以及与所述候选实体相关联的图片，从所述候选实体中筛选出目标实体；

从所述多模态知识图谱中获取所述目标实体的若干知识作为待处理文本的实体知识信息。

3.根据权利要求2所述的命名实体识别方法，其特征在于，所述利用所述多模态知识图谱，匹配出待处理文本的若干个候选实体包括：

预先构建相应于所述多模态知识图谱中的实体的别名表；

利用所述待处理文本与所述多模态知识图谱中的实体名称以及所述别名表进行匹配；

将符合预设匹配标准的所述多模态知识图谱中的实体及其一跳或多跳实体构建为候选实体集。

4.根据权利要求1~3任一项所述的命名实体识别方法，其特征在于，所述结合所述文本信息、所述深层信息、所述属性信息以及所述视觉信息进行命名实体识别处理包括：

根据待处理文本中的字符单元的文本信息、所述深层信息以及所述配图的属性信息，求取所述字符单元的文本上下文表示；

根据所述文本上下文表示以及所述视觉信息，求取所述字符单元的视觉上下文表示；

将所述字符单元的文本信息、所述文本上下文表示以及所述视觉上下文表示进行融合，得到所述字符单元的综合表示；

根据所述综合表示，对所述字符单元进行实体类型标注。

5.根据权利要求4所述的命名实体识别方法，其特征在于，所述结合所述文本信息、所述深层信息、所述属性信息以及所述视觉信息进行命名实体识别处理具体包括：

结合待处理文本、所述深层信息以及所述属性信息，对字符单元进行注意力计算，求得目标字符单元与其他字符单元之间的第一关联度；

利用所述视觉信息以及所述第一关联度再次进行注意力计算，得到融入图像信息的第二关联度；

动态结合所述第一关联度以及所述第二关联度，得到目标字符单元的多模态上下文表示；

将所述多模态上下文与目标字符单元的文本信息融合后得到目标字符单元的综合表示；

利用所述综合表示识别出目标字符单元的实体类型。

6.一种基于配图的命名实体识别装置，其特征在于，包括：

文本级辅助信息获取模块，用于根据预定策略，获取待处理文本的深层信息以及所述待处理文本附带的配图的属性信息，其中所述属性信息以文本形式表征，获取所述属性信息包括：基于图像分类策略，获得以文本形式表达的所述配图的类型信息；所述获取待处理文本的深层信息包括：根据预先构建的多模态知识图谱，获取待处理文本的实体知识信息，其中，所述多模态知识图谱包括若干实体以及与实体相关联的图片；

基本信息提取模块，用于提取所述待处理文本的文本信息以及所述配图的视觉信息；

命名实体识别模块，用于结合所述文本信息、所述深层信息、所述属性信息以及所述视觉信息进行命名实体识别处理，得到所述待处理文本的实体类型序列。