[发明专利]一种基于视觉对象引导的社交媒体短文本命名实体识别方法

权利要求书

1.一种基于视觉对象引导的社交媒体短文本命名实体识别方法，其特征在于，包括步骤：

建立社交媒体短文本的文本描述数据集，通过爬取社交媒体中文本附带的视觉图像，提供和文本描述相关的视觉图像数据；

基于视觉对象检测算法Faster RCNN对视觉图像数据进行对象检测，并对检测出的视觉对象类别进行视觉词语义的提取；

根据字符和词级别对原始文本描述进行语义提取，根据文本语义对文本进行特征提取；

计算视觉词语义和文本特征的相似性，利用相似性程度在每个视觉对象之间进行加权求和，得到多模态attention表示向量；

根据加权求和结果，得到门控参数，表示多模态语义与原始文本特征的相关性，然后将门控参数作为权重与多模态语义相乘，并与文本特征按照维度相加，最终得到词语义向量；

将词语义向量输入到条件随机场中，进行实体边界和实体类别的识别，得到的结果为识别出的命名实体。

2.根据权利要求1所述的方法，其特征在于，所述对视觉图像数据进行对象检测，并对检测出的视觉对象类别进行视觉词语义的提取的步骤中，包括：

对于输入的每张图片，采用视觉对象检测算法进行视觉对象的提取，根据提取的置信度对识别出的n个对象进行排序，取前k个对象构成视觉对象集；

将视觉对象集中每个对象的类别进行视觉词语义的提取；

将视觉对象集合的词语义通过一个单层感知机映射到和文本语义相同的维度中，映射后得到最终的视觉词语义。

3.根据权利要求2所述的方法，其特征在于，所述对检测出的视觉对象类别进行视觉词语义的提取，提取方法为：

得到的视觉对象集合的词语义表示为

所述词语义映射到和文本语义相同的维度的步骤中，映射方法为：

其中，tanh是非线性激活函数，W_I和b_I分别是可训练的参数矩阵。

4.根据权利要求1所述的方法，其特征在于，所述对原始文本描述进行语义提取，并对文本语义进行文本的特征提取的步骤中，包括：

对于输入文本描述中的每个词，计算词级别嵌入语义和字符级别语义，将词级别嵌入语义和字符级别语义进行拼接，得到字符和词级别的嵌入语义；

对得到的字符和词级别的嵌入语义捕捉上下文信息，并将前后项的隐藏层输出拼接作为最终的文本特征表示；

拼接词嵌入语义和字符级别语义得到字符和词级别的嵌入语义，表示为：

其中，是词嵌入语义，是字符级别的语义，得到的字符和词级别的嵌入语义表示为

5.根据权利要求3所述的方法，其特征在于，所述计算视觉词语义和文本特征的相似性，根据相似性程度对视觉词语义进行加权求和的步骤中，包括：

计算得到的视觉词语义和文本特征二者的相似性，得到权重值；

将每个视觉对象根据得到的权重值进行加权求和，计算出最终的多模态attention表示向量。

6.根据权利要求5所述的方法，其特征在于，所述权重值的计算公式为：

其中，softmax为非线性激活函数，得到的权重α_i的取值空间为[0,1]，对于文本描述中的每个词，其特征表示

所述最终的多模态attention表示向量计算公式为：

7.根据权利要求1所述的方法，其特征在于，所述根据加权求和结果计算多模态语义与原始文本特征的相关性，得到最终的词语义向量的步骤中，包括：

将得到的多模态attention表示向量和文本特征输入到一个sigmoid非线性激活函数中，得到gate机制的门控参数g；

将得到的门控参数作为权重与多模态语义表示相乘，并与文本特征按照维度相加，得到最终的多模态词语义。

8.根据权利要求7所述的方法，其特征在于，所述gate机制的门控参数的计算公式为：

其中，和分别为多模态attention表示和文本特征输入到一个线性层进行维度转换的结果；[；]是向量拼接操作；最终得到的参数g则是值为[0,1]的门控参数，用来决定当前的多模态attention表示与文本特征的相关程度。