[发明专利]一种基于参数线性约束的多任务分词方法

摘要

一种基于参数线性约束的多任务分词方法，涉及基于深度学习的自然语言处理。使用不同分词标准的数据对不同分词模型进行初步训练；对于不同分词模型，共享部分参数，对另外的参数建立线性约束关系；建立统一的目标函数，进行不同分词模型的训练。利用参数的线性约束来建模不同分词模型之间的关系，使得不同分词标准模型的训练能够使用另外分词标准的训练数据。本发明算法明确、思路清晰，利用这个方法能够扩增现有分词模型的训练数据，提高中文分词任务的性能，更好地服务于基于分词的其他自然语言处理任务。

主权项

1.一种基于参数线性约束的多任务分词方法，其特征在于其包括以下步骤：1)使用不同分词标准的数据对不同分词模型进行初步训练，具体方法为：(1)对基于LSTM的中文分词模型，字符的嵌入表示如下：用神经网络处理字符数据的第一步是用向量来表示字符的语义，即Character Embedding，用C表示大小为|C|的字符词典，任何在字典中的字符c都用一个实数向量v_c∈R^d表示，其中d是向量空间的维度，所有字符的嵌入表示组成字符嵌入表示矩阵M,M∈R^|C|×d，矩阵M中的每一行都表示对应某个字符的嵌入表示，某个字符对应的行通过查找表找到；标签打分如下：把中文分词看成一个分类问题，任何一个字符被分成四类B，M，E，S标签中的一类，分别表示一个词的开头，中间，结尾和单独一个字作为词，给定一个字符序列x＝(x₁,x₂,…,x_n)，使用LSTM网络对标签进行打分；对于字符x_t,1≤t≤n,，网络的输入为：其中，表示拼接，k₁、k₂分别表示当前字符左边和右边的窗口大小，将x输入到LSTM单元，进一步得到：h_t＝o_t⊙tanh(c_t)其中，c_t，h_t分别表示LSTM单元在t时刻的记忆单元和隐层状态，向量i_t,o_t，f_t分别表示时刻t的LSTM输入、输出和遗忘门，用于控制LSTM单元信息记忆存储，⊙表示对应的元素相乘，W₁，b₁是模型的参数；再根据以下公式计算在当前上下文各个标签的分数：s_t＝W₂h_t+b₂其中，W₂和b₂也为网络的参数；为了建模标签之间的关系，进一步引入来度量从标签y_t‑1转移到y_t的概率，y_t表示x_t对应的标签，经过上述过程，输入句子x的标签序列y的分数计算如下：其中，y表示标签序列，表示网络对应于标签y_t的输出分数,θ表示模型的参数，n为x的长度；给定一个训练样本(x,y)，用表示预测得到的标签序列，则：其中，Y(x)为序列x所有可能的标签序列集合；定义边缘损失为：其中，1{*}为指示函数，当时，取值为1,否则为0，而η为折扣因子；最后，在给定一个数据集D,目标函数定义为：其中，λ为正则化项对应的权重；(2)基于多任务学习的中文分词模型将步骤(1)的建模过程推广到不同分词标准的分词模型建模，使用多任务学习框架来进行不同模型的联合训练，对于不同的模型，共享字符嵌入表示矩阵M和LSTM模型参数，而对于分词标签的相关参数，即W₂、b₂，使用线性约束来建模他们之间的关系；用i、j分别表示两个不同的模型，这两者之间的约束关系表示为：其中，表示第i个模型的分词标签相关参数，表示网络的参数；综上述，多任务学习框架下模型的目标函数包含分词损失以及约束损失：其中，J_i(θ_i)表示模型i的分词损失，λ_w表示模型约束项对应的权重，N表示模型个数；(3)模型训练采用Mini‑batch的训练方式，同时使用不同分词标准的数据来联合训练不同标准分词模型；在这个过程中，使用AdaGrad进行参数优化求解；2)对于不同分词模型，共享部分参数，对另外的参数建立线性约束关系；3)建立统一的目标函数，进行不同分词模型的训练。