[发明专利]基于多模态的冷链配载用户画像标签抽取方法及装置

权利要求书

1.一种基于多模态的冷链配载用户画像标签抽取方法，其特征在于，包括如下步骤：

步骤1：输入原始的冷链配载数据集D1，对数据集进行去重、去空，清洗后得到样本集D2；

步骤2：使用K-means对样本集D2进行聚类，得到N个聚类点簇，进而将聚类后的样本集D2打上标签；

步骤3：将带标签的文本样本集作为BERT模型的输入，得到特征向量T1，将得到的特征向量T1传入长短期记忆网络进一步提取特征，得到文本特征向量T2；

步骤4：获取双模态交互注意力矩阵Bim，具体步骤如下：

步骤4.1：将步骤2中经过预处理后的图片数据作为YOLO模型的输入；

步骤4.2：得到提取后的图片数据的特征R1；

步骤4.3：将得到的特征R1映射到其语义空间中，得到图片特征向量R2＝tanh(W_tR1+b_R1)，其中，W_t为激活函数tanh的权重，b_R1为激活函数tanh的偏置；

步骤4.4：将文本特征向量T2和图片特征向量R2交互，使用激活函数tanh进行转换表示补充；

步骤4.5：T2经R2补充过后得到T3，计算公式为T3＝tanh(U_T2T2+W_rtU_T2T2)，U_T2为隐藏文本对应的转换矩阵，W_rt为相应两模态的映射的权重矩阵；

步骤4.6：R2经T2补充过后得到R3，计算公式为R3＝tanh(U_R2R2+W_rtU_R2R2)，U_R2为隐藏关系对应的转换矩阵；

步骤4.7：将文本特征向量T3和图片特征向量R3进行拼接，并通过一个全连接层捕捉模态间交互特征F1，即F1＝ReLU(W₁(T3⊕R3)+b₁)，W₁为激活函数ReLU的权重，b₁为激活函数ReLU的偏置；

步骤4.8：将交互特征F1在激活函数Sigmoid的作用下生成条件向量S，计算公式为S＝Sigmoid(F1)；

步骤4.9：将条件向量S与交互后的T3结合得到文本条件向量N1，计算公式为N1＝T3⊙S；

步骤4.10：将条件向量S与交互后的R3结合得到图片条件向量N2，计算公式为N2＝R3⊙S；

步骤4.11：将两种模态的条件向量N1和N2进行矩阵乘法计算，得到跨模态联合矩阵O，计算公式为O＝N1·N2；

步骤4.12：如果循环变量k≤单模态特征维度u，跳转到下一步，否则跳转到步骤4.15；

步骤4.13：使用Softmax函数计算出跨模态联合矩阵的概率a，计算公式为

步骤4.14：k＝k+1，跳转到步骤4.12；

步骤4.15：将双模态交互特征F1乘概率a，得到双模态交互注意力矩阵Bim，计算公式为Bim＝a·F1；

步骤5：将双模态交互注意力矩阵Bim与被补充过的双模态特征向量拼接，将其作为全连接层的输入得到双模态特征表示，最后输入至Softmax进行分类，最终获得模型的标签抽取。