[发明专利]使用树形神经网络和双向神经网络实现中文分词

权利要求书

1.一种使用树形双向神经网络实现中文分词的方法，包括以下步骤：获得输入句子，所述输入句子包括符合语法顺序的多个输入；使用语言模型将所述的句子中每个字转换成字向量作为第一输入序列，将所述的第一输入序列传递给三层长短期记忆神经网络即树形神经网络，同时根据所述的输入句子生成句向量作为三层长短期记忆神经网络中每层隐藏层的初始化输入，训练三层长短期记忆神经网络，产生第二输入序列，再将第二输入序列传递给双向长短期记忆神经网络，同时根据所述的输入句子生成句向量作为双向长短期记忆神经网络隐藏层的初始化输入，产生第三输入序列，将所述的第三输入序列传递给logSoftMax层即多分类层，以产生所述输入句子的分词标记序列。

2.根据权利要求1所述的方法，其中所述输入句子是不超过指定长度的可变长度输入句子。

3.根据权利要求1所述的方法，其中所述的语言模型指的是将字或词转换成词向量的神经网络模型。

4.根据权利要求1到3任意一项所述的方法，其中处理所述输入句子包括：将所述输入句子中的未识别项替换成指定标记以产生经过修改的输入句子。

5.根据权利要求1其中所述的句向量指的是通过成熟的神经网络模型将所述的输入句子转换得到的向量表示。

6.根据权利要求1所述的方法，其中所述的隐藏层的初始化输入包括双向长短期记忆神经网络隐藏层由前向后的初始化状态及由后向前的初始化状态，及三层长短期记忆神经网络每层的初始化状态，都采用所述句子的句向量。

7.根据权利要求1至6任意一项所述的方法，进一步包括：使用随机梯度下降训练所述三层长短期记忆神经网络和双向长短期记忆神经网络。

8.根据权利要求1到7任意一项所述的方法，其中所述输入句子是符合语法的句子，并且分词标记序列是由4种标签组合的字符串。

9.根据权利要求8所述的4个标签组合是指BMES，其中B指Begin表示词首，E指End表示词尾，M指Middle表示词中，S指Single表示单个词。

10.根据权利要求1所述的方法，其中训练三层长短期记忆神经网络指的是添加额外的线性转换和logSoftMax层，以所述句子的向量表示作为输入，以所述句子的语法解析树的序列表示作为目标，训练网络参数。