[发明专利]一种基于特征可控融合的深度表示学习方法

权利要求书

1.一种基于特征可控融合的深度表示学习方法，其特征在于，包括以下步骤：

步骤0：利用分词工具将评论数据分为单词序列，并给出对应的标签；

步骤1：给定长度为N的评论数据其中x_i代表评论中的一个单词，y_i表示该单词对应的标签，且y_i∈{B,I,O}；对于标签集合{B,I,O}，B、I、O分别代表评价对象的开头单词，评价对象的内部单词和非评价对象单词；

步骤2：采用预训练的BERT作为词嵌入工具，获取单词嵌入向量；

步骤3：使用BERT作为词嵌入工具，BERT是由多层transformer组成的模型；

步骤4：采用线性加权的方法联合BERT多层transformer输出特征作为单词嵌入向量；

步骤5：将生成的单词嵌入向量作为模型的输入；

步骤6：采用BIGRU算法输入单词嵌入向量，并获取单词初步的语义表示；

步骤7：采用多尺度CNN算法抽取局部特征；

步骤8：将步骤7获取的不同尺度的局部特征进行融合，并使用LayerNorm进行归一化处理，从而获取单词的局部特征表示；

步骤9：使用步骤6生成的单词初步的语义表示作为输入，采用BIGRU抽取更抽象的序列特征；

步骤10：使用多头交互线性注意力机制分别从不同的特征表示角度来提取上下文摘要，所生成的两种不同特征表示的上下文摘要充分利用了上下文特征；

步骤11：获取统一的上下文摘要，对序列特征偏向上下文摘要以及局部特征偏向上下文摘要进行选择性融合，得到上下文摘要s_i；

步骤12：针对步骤11中获取的上下文摘要s_i，以及步骤7-9中获取的局部特征序列特征使用另外的三个门控制信息的流入，并得到单词的最终表示H_i；

步骤13：通过步骤12，获取了当前单词的最终表示H_i，进一步，将H_i输入全连接层并使用Softmax激活函数获取最终的预测标签。

2.根据权利要求1所述基于特征可控融合的深度表示学习方法，其特征在于，步骤7中，多尺度CNN由三组不同卷积核大小的CNN组成，通过多尺度CNN分别抽取不同尺度的局部特征，其中第一组由一个1*1的卷积网络组成，第二组由一个1*1卷积接3*3卷积组成，第三组由一个1*1卷积接5*5卷积组成。