[发明专利]一种可扩展的基于神经网络的序列标注方法

权利要求书

1.一种可扩展的基于神经网络的序列标注方法，其步骤包括：

1)创建一层叠n阶模型，该层叠n阶模型的训练过程为：首先根据训练语料中各标注单元的标签生成多个标签集合，包括一阶至n阶n个标签集合；其中，一阶标签集合为各标注单元的标签构成的标签集合；标注单元i的标签与其邻近n-1个标注单元的标签合并在一起作为标注单元i的n阶标签，n阶标签集合为各标注单元的n阶标签构成的标签集合；然后利用得到的各阶标签集合分别训练神经网络，分别得到n个模型，即一阶神经网络模型至n阶神经网络模型；

2)利用该层叠n阶模型对给定的序列(x₁，x₂，…x_t，…x_T)进行标签预测，得到一标签序列(y₁，y₂，…y_t，…，y_T)；其中，y_t表示第t个标注单元x_t的标签。

2.如权利要求1所述的方法，其特征在于，优化标签序列(y₁，y₂，…y_t，…，y_T)，即最大化整个标签序列(y₁，y₂，…y_t，…，y_T)的联合概率p(y₁，y₂，…y_t，…，y_T)，得到最优的标注序列。

3.如权利要求2所述的方法，其特征在于，计算所述最大化整个标签序列(y₁，y₂，…y_t，…，y_T)的联合概率的方法为：对于每一阶神经网络模型，分别基于马尔科夫假设对该联合概率p(y₁，y₂，…y_t，…，y_T)进行分解，得到对应阶神经网络模型下的标签信息；其中，对于n阶神经网络模型，采用基于n阶马尔科夫假设的分解方式，即其中，p(y₁，y₂，…，y_n)代表标签序列从第1个位置到第n个位置的子序列(y₁，y₂，…，y_n)的局部联合概率，p(y_T-n+1，y_T-n+2，…，y_T)代表标签序列从第T-n+1个位置到第T个位置子序列的局部联合概率，t＝1，…，T-n+1；p(y_t)表示第t个标注单元x_t的预测标签的概率，由一阶神经网络模型输出得到；p(y_t+1|y_t)表示从第t个标签y_t到第t+1个标签y_t+1的转移概率，由二阶神经网络模型得到；p(y_t+n-1|y_t，y_t+1，…，y_t+n-2)表示当第t个词到第t+n-2个词的标签序列是(y_t，y_t+1，…，y_t+n-2)时，第t-n+1个词的标签是y_t+n-1的概率，由n阶神经网络模型得到；计算每一局部联合概率时，记录下条件概率所代表的转移前的具体标签组合，计算结束后，在最后一个标签组合代表的不同具体标签组合处有不同值，从最大值对应的具体标签组合处开始反向追踪，获取的标注序列作为所述最优的标注序列。

4.如权利要求1所述的方法，其特征在于，每一阶神经网络模型中每个标注单元保留概率最大的前k个标签及其概率。

5.如权利要求1所述的方法，其特征在于，一阶神经网络模型至n阶神经网络模型的模型结构均相同。

6.如权利要求1～5任一所述的方法，其特征在于，所述标注单元为词或字。