[发明专利]一种基于BERT模型及文本-图像关系传播的多模态命名实体识别方法

权利要求书

1.一种基于BERT模型及文本-图像关系传播的多模态命名实体识别方法，其特征在于，包括以下步骤：

步骤1、设计RpBERT，RpBERT为基于文本-图像关系传播的多模态命名实体识别的BERT模型；

步骤1.1、RpBERT的输入序列为：

上式中，T＝{w₁，...，w_n}表示语言特征序列；V＝{v₁，...，v_m}表示视觉特征序列；[CLS]表示文本-图像关系分类，[SEP]表示文本和图像特征之间的分离；

步骤1.2、由BERT标记器生成单词标记序列，将一个未知单词分解为多个单词片段标记；

步骤1.3、将视觉特征表示为块区域，视觉特征由ResNet从图像中提取；

步骤1.4、将标记[CLS]的输出作为文本-图像关系分类中二进制分类器的输入，并输入到全连接层中；使用概率门G来产生概率[π₀，π₁]，则文本图像得分被定义为阳性的概率为：

r＝π₁ (2)

使用相关分数来构造视觉掩模矩阵R：

文本-图像关系通过R⊙V传播到RpBERT，其中⊙是按元素的乘法；

步骤2、进行关系传播；关系传播包括软关系传播和硬关系传播的两种门控传播；

步骤2.1、软关系传播：将概率门G的输出视为连续分布，根据文本-图像关系的强弱对视觉特征进行过滤，将概率门G定义为softmax函数：

G_s＝soffmax(x) (4)

步骤2.2、硬关系传播；

步骤3、采用多任务学习方式为多模态命名实体识别训练RpBERT。

2.根据权利要求1所述基于BERT模型及文本-图像关系传播的多模态命名实体识别方法，其特征在于，步骤2.2具体包括如下步骤：

步骤2.2.1、将概率门G的输出视为绝对分布，将概率门G定义为：

G_h1＝[soffmax(x)＞0.5] (5)

上式中，[·]是艾弗森括号指示符函数，当其参数为真时取值1，否则取0；在概率门G为0时视觉功能被丢弃，或在概率门G为1时视觉功能被选择；

步骤2.2.2、将概率门G定义为：

G_h2＝softmax((x+g)//τ) (6)

上式中，g是从耿贝尔分布采样的噪声，τ是温度参数；在训练阶段，使用1到0.1的参数表对温度τ进行退火。

3.根据权利要求1所述基于BERT模型及文本-图像关系传播的多模态命名实体识别方法，其特征在于，步骤3具体包括如下步骤：

步骤3.1、任务一：文本-图像关系分类；使用彭博数据集的图像任务分割进行文本-图像关系分类，确定图像的内容是否提供了文本之外的附加信息；设x_i为推文的文本图像对，通过交叉熵计算二元关系分类的损失L：

上式中，p(x)是softmax计算的正确分类的概率；

步骤3.2、任务二：通过关系传播的多模态命名实体识别。

4.根据权利要求3所述基于BERT模型及文本-图像关系传播的多模态命名实体识别方法，其特征在于，步骤3.2具体包括如下步骤：

步骤3.2.1、使用掩模矩阵R来控制加性视觉线索，RpBERT的输入序列是[CLS]T[SEP]R⊙V，将输出T表示为使用biLSTM-CRF模型作为基线模型，biLSTM-CRF模型由双向LSTM和条件随机场组成，biLSTM-CRF模型的输入e_k是单词和字符嵌入的串联；CRF使用每个分词的biLSTM隐藏向量用实体标签标记序列；将连接作为biLSTM的输入；biLSTM的输入表示为：

步骤3.2.2、对于词汇表外的单词，对BERT标记化子词的输出进行平均；

步骤3.2.3、输入隐藏的向量模型对于标签序列，标签序列y的概率为：

上式中，y为标签序列，中Y为句子的所有标签序列，s(H；y)是特征函数建模转换；

步骤3.2.3、任务二计算最小化训练数据的负对数似然：