[发明专利]基于共享表示的多任务语言分析系统及方法

摘要

基于共享表示的多任务语言分析系统及方法，属于语言分析技术领域。本发明是为了解决目前的语言分析方法存在分析速度慢以及分析准确率低的问题。本发明通过神经网络模型来完成对多个单句文本分析任务处理。这些任务包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注。每个任务模块都包含一个独立的子模型，这些子模型的结构各不相同，将在下文逐一解释。同时，模型需要一个共享的表示层模块。主要用于语言的分析。

主权项

1.基于共享表示的多任务语言分析系统，其特征在于，包括：表示层模型：表示层模型使用的是BERT编码器结构的隐层输出，该模型输入中文字序列，输出与字序列等长的向量序列，每个向量对应着相应位置的字的分布式语义表示，将表示层输出统一表示为矩阵R₁；分词模块：针对R₁中每个字隐层表示的向量通过一个线性层运算，映射到一个4维的BMES标签空间，使用softmax函数转化为标签概率分布，求出概率最高的标签，并通过标签含义，解码出词序列输出；以词序列和R₁作为输出，将R₁中每个词首字位置的隐层表示输出作为该词的分布式表示，统一表示为R₂；分析模块，包括词性标注子模块；每个子模块的输入均为分词模块的输出结果R₂；词性标注子模块：针对R₂中每个词隐层表示向量通过一个线性层运算，映射到词性标签空间，使用softmax函数转化为词性概率分布，求出概率最高的词性。