[发明专利]基于共享表示的多任务语言分析系统及方法

权利要求书

1.基于共享表示的多任务语言分析系统，其特征在于，包括：

表示层模型：表示层模型使用的是BERT编码器结构的隐层输出，该模型输入中文字序列，输出与字序列等长的向量序列，每个向量对应着相应位置的字的分布式语义表示，将表示层输出统一表示为矩阵R₁；

分词模块：针对R₁中每个字隐层表示的向量通过一个线性层运算，映射到一个4维的BMES标签空间，使用softmax函数转化为标签概率分布，求出概率最高的标签，并通过标签含义，解码出词序列输出；

以词序列和R₁作为输出，将R₁中每个词首字位置的隐层表示输出作为该词的分布式表示，统一表示为R₂；

分析模块，包括词性标注子模块；每个子模块的输入均为分词模块的输出结果R₂；

词性标注子模块：针对R₂中每个词隐层表示向量通过一个线性层运算，映射到词性标签空间，使用softmax函数转化为词性概率分布，求出概率最高的词性；

所述的分析模块还包括实体识别子模块；

实体识别子模块：针对R₂中每个词隐层表示向量通过双向长短时记忆网络进行编码，并通过条件随机场模型在BMESO实体标签空间上进行解码，求出最可能的实体标签序列，并通过标签含义解码出实体片段；

所述的分析模块还包括依存句法分析子模块；

句法分析子模块：针对R₂中每个词隐层表示向量，通过两个多层感知机将表示映射到作为句法父节点和子节点的不同表示，并将这两种表示通过双线性计算得到相应的句法弧转移矩阵，同样使用双线性方法得到对应句法弧的句法标签；由此即可求出每个词的父节点和标签并输出句法树；

所述的分析模块还包括语义角色标注子模块；

语义角色标注子模块：针对R₂中每个词隐层表示向量，将对应谓词的隐层表示与所有词表示进行拼接，通过多层双向LSTM对其进行编码得到新的表示R₃，对R₃再次对应谓词的隐层表示与所有词表示进行拼接；并通过一个线性层映射到BIO论元空间，使用softmax函数转化为论元标签概率分布，并通过标签含义解码出相应谓词的论元片段。

2.基于共享表示的多任务语言分析方法，其特征在于，包括以下步骤：

步骤1、表示层模型使用的是BERT编码器结构的隐层输出，该模型输入中文字序列，输出与字序列等长的向量序列，每个向量对应着相应位置的字的分布式语义表示，将表示层输出统一表示为矩阵R₁；

步骤2、针对R₁中每个字隐层表示向量通过一个线性层运算，映射到一个4维的BMES标签空间，使用softmax函数转化为标签概率分布，求出概率最高的标签，并通过标签含义，解码出词序列输出；

步骤3、以词序列和R₁作为输出，将R₁中每个词首字位置的隐层表示输出作为该词的分布式表示，统一表示为R₂；

步骤4、以步骤3的输出结果R₂为输入进行分析，包括以下步骤：

针对R₂中每个词隐层表示向量通过一个线性层运算，映射到词性标签空间，使用softmax函数转化为词性概率分布，求出概率最高的词性；

步骤4以步骤3的输出结果R₂为输入进行分析的过程还包括以下步骤：

针对R₂中每个词隐层表示向量通过双向长短时记忆网络进行编码，并通过条件随机场模型在BMESO实体标签空间上进行解码，求出最可能的实体标签序列，并通过标签含义解码出实体片段；

步骤4以步骤3的输出结果R₂为输入进行分析的过程还包括以下步骤：

针对R₂中每个词隐层表示向量，通过两个多层感知机将表示映射到作为句法父节点和子节点的不同表示，并将这两种表示通过双线性计算得到相应的句法弧转移矩阵，同样使用双线性方法得到对应句法弧的句法标签；由此即可求出每个词的父节点和标签并输出句法树；

步骤4以步骤3的输出结果R₂为输入进行分析的过程还包括以下步骤：

针对R₂中每个词隐层表示向量，将对应谓词的隐层表示与所有词表示进行拼接，通过多层双向LSTM对其进行编码得到新的表示R₃，对R₃再次对应谓词的隐层表示与所有词表示进行拼接；并通过一个线性层映射到BIO论元空间，使用softmax函数转化为论元标签概率分布，并通过标签含义解码出相应谓词的论元片段。