[发明专利]一种端到端的藏文La格浅层语义分析方法

说明书

本发明涉及藏文La格浅层语义分析技术领域，涉及一种端到端的藏文La格浅层语义分析方法，包括：一、将输入以词为单元的特征序列和对应的标记序列映射成低维实值向量；二、在LSTM的垂直方向上装置门控高速连接机制GM，采用BiLSTM学习输入句子的时序特征和上下文语义信息；GM包含对单元内部输入和输出的线性连接，使信息可以通畅地在不同层之间传播；三、使用softmax计算每一时刻语义标签的局部归一化分布，以供输出层进行约束解码；四、使用维特比算法进行解码时通过强制执行设定的BIO和La格浅层语义标注约束，规范输出语义标签之间的结构关系。本发明能较佳地进行藏文La格浅层语义分析。

技术领域

本发明涉及藏文La格浅层语义分析技术领域，具体地说，涉及一种端到端的藏文La格浅层语义分析方法。

背景技术

藏文La格浅层语义分析的目标是首先找出给定句子的谓词，然后以该谓词为核心，确定相关的主要语义成分，并标记相应的语义标签，进而得到给定句子的类型及各语义成分所充当的语义角色。

La格是藏文语法典籍《三十颂》和《音势论》中的重点和难点，也是八格中的主要研究内容，所以面向自然语言处理，研究基于机器学习方法的藏文La格浅层语义分析技术可以对很多上层藏语自然语言理解任务起到帮助作用，比如语义角色标注、语义分析、信息抽取、自动问答、阅读理解、机器翻译等。此外，La格是藏语文课本中必学的一个重点知识，唯有熟练掌握其概念和用法，才能准确区分藏文La的类型，找准每个句子的主要语义成分，并进一步分析每个句子的实际含义。可见研究基于机器学习方法的藏文La格浅层语义分析技术在La格的学习中也具备一定的实际应用价值。

传统的浅层语义分析任务与句法分析密切相关，严重依赖于句法分析结果，这导致增加了浅层语义分析的复杂性。近几年，随着深度学习技术的不断成熟，没有句法输入的端到端的模型在浅层语义分析任务上取得了很好的结果。有文献研究了端到端的LSTM浅层语义分析方法，取得了优于传统引入句法信息方法的效果，这些端到端模型的成功揭示了LSTM处理句子潜在句法结构的潜在能力，也为进一步研究和改进提供了理论基础和参考依据。目前，尚未查阅到有关基于端到端模型的藏文浅层语义分析方法，更未见到有关La格浅层语义分析的文献报道。

发明内容

本发明的内容是提供一种端到端的藏文La格浅层语义分析方法，其能够克服现有技术的某种或某些缺陷。

根据本发明的一种端到端的藏文La格浅层语义分析方法，其包括以下步骤：

一、将输入以词为单元的特征序列和对应的标记序列映射成低维实值向量；

二、在LSTM的垂直方向上装置门控高速连接机制GM，采用BiLSTM学习输入句子的时序特征和上下文语义信息；GM包含对单元内部输入和输出的线性连接，使信息可以通畅地在不同层之间传播；

三、使用softmax计算每一时刻语义标签的局部归一化分布，以供输出层进行约束解码；

四、使用维特比算法进行解码时通过强制执行设定的BIO和La格浅层语义标注约束，规范输出语义标签之间的结构关系。

作为优选，步骤一中，用表示已训练好的GloVe词向量，用V表示词汇表，用C∈{0,1}表示标记集合，则最原始的输入序列{w₁,w₂,…,w_T}和标记序列{m₁,m₂,…,m_T}通过查找表lookuptable映射成低维实值向量e(w_t)和e(m_t)，其中w_t∈V和对应标记m_t∈C；至此，可将向量e(w_t)和e(m_t)拼接成x_l,t作为LSTM第一层的输入：

x_l,t＝[e(w_t),e(m_t)]