[发明专利]基于自注意的社交媒体主题评论的细粒度分类方法及系统

权利要求书

1.基于自注意的社交媒体主题评论的细粒度分类方法，其特征在于，包括以下步骤：

步骤a、对原始社交媒体主题评论数据进行预处理和细粒度分类标注，得到文本语料数据集，并进行向量化，得到对应的向量化文本语料数据集；

步骤b、构建基于多头输入结构层、LSTM层、自注意力层、正则化层、分类输出层的分类模型，然后将向量化的文本语料数据和对应的分类标注，输入至分类模型中，进行训练，输出得到预测的分类结果，并通过交叉熵损失函数计算预测的分类结果与对应的分类标注的误差，然后通过AdamWarmup算法驱动误差反向传播，经多次训练后，得到训练后的分类模型；

步骤c、将待分类的社交媒体主题评论数据按步骤a进行预处理，并向量化，然后将向量化的数据输入到步骤b中训练后的分类模型中，输出得到该社交媒体主题评论数据的预测的分类结果，即该社交媒体主题评论数据的细粒度分类。

2.如权利要求1所述的基于自注意的社交媒体主题评论的细粒度分类方法，其特征在于，步骤a的预处理包括数据清洗和token化，数据清洗为删除URL以及用户提及和表情字符，token化为去掉特殊字符和停用词。

3.如权利要求1所述的基于自注意的社交媒体主题评论的细粒度分类方法，其特征在于，步骤a中采用skip-gram模型进行向量化。

4.如权利要求1所述的基于自注意的社交媒体主题评论的细粒度分类方法，其特征在于，步骤b中向量化的文本语料数据复制多份分别作为多个输入量同时输入至多头输入结构层，多头输入结构层对各输入量进行位置编码，并将位置编码拼接融合至各输入量中，然后输入至LSTM层。

5.如权利要求4所述的基于自注意的社交媒体主题评论的细粒度分类方法，其特征在于，位置编码的拼接融合公式如公式(1)所示：

input(x)＝add(embedding(x),position(x)) (1)

其中，input(x)表示LSTM层的输入向量；embedding(x)表示向量化的文本语料数据；position(x)表示模型输入量的位置向量，通过位置计算公式编码得到；add()表示融合操作；位置编码公式如公式(2)所示：

其中，PE(pos，2i)表示第2i维的位置编码，PE(pos，2i+1)表示第2i+1维的位置编码，pos表示句子中每个子词在句子中的位置，i表示输入量的某一维度，d_model表示输入量的维度；

根据三角函数和差公式，如公式(3)所示：

式中，a、b分别表示为两个不同的变量；

将上述位置编码公式变换成公式(4)所示：

6.如权利要求4所述的基于自注意的社交媒体主题评论的细粒度分类方法，其特征在于，LSTM层对各输入量进行特征提取，得到各输入量的特征提取向量数据。

7.如权利要求1所述的基于自注意的社交媒体主题评论的细粒度分类方法，其特征在于，经LSTM层处理后的特征提取向量数据作为输入量，输入至自注意力层，对给定的特征提取向量数据赋值为X，随机初始化三个矩阵W_Q、W_K、W_V，分别经X与上述三个矩阵相乘得到三个变量Q、K、V，并基于公式(5)进行注意力打分；

其中，Q表示句子中所要查询的词的向量，K表示同一句子中所有词的向量，V表示对Q与K关系的评价或权重，d表示常量，为矩阵q_i×k_i的第一个维度的开平方，或者设为其他值，i表示当前计算的词在向量中的位置；

采用softmax函数对注意力得分进行数值转换，计算在给定了Q和K的情况下，两个词的归一相似度，再通过与V相乘得到注意力计算结果。