[发明专利]一种基于参数线性约束的多任务分词方法

说明书

一种基于参数线性约束的多任务分词方法，涉及基于深度学习的自然语言处理。使用不同分词标准的数据对不同分词模型进行初步训练；对于不同分词模型，共享部分参数，对另外的参数建立线性约束关系；建立统一的目标函数，进行不同分词模型的训练。利用参数的线性约束来建模不同分词模型之间的关系，使得不同分词标准模型的训练能够使用另外分词标准的训练数据。本发明算法明确、思路清晰，利用这个方法能够扩增现有分词模型的训练数据，提高中文分词任务的性能，更好地服务于基于分词的其他自然语言处理任务。

技术领域

本发明涉及基于深度学习的自然语言处理，尤其是涉及一种基于参数线性约束的多任务分词方法。

背景技术

自然语言处理是计算机学科人工智能的一个重要研究方向，它研究如何使得人与计算机之间能够使用自然语言进行有效通信。它是一门融语言学、计算机科学、数学于一体的学科。中文分词是自然语言处理的基础任务，是许多上游任务比如情感分类、机器翻译等的预处理步骤。

中文分词研究一直是学术界的热点。传统的方法使用面向特定任务的人工定义的特征，起到了很好的效果，但是对于特定任务如何定义有效人工特征并不是一件容易的事情。近年来随着神经网络的兴起，不少工作探索了如何使用神经网络来对中文分词进行建模(参见文献：[1～7])，效果达到甚至超过了传统方法。使用神经网络进行建模的优点在于不需要人工定义特征，网络模型能够学习有益分词任务的特征表示。工作(参见文献：[3])中使用一个长短时记忆(Long-short Term Memory，简称LSTM)神经网络模型进行中文分词任务，效果达到了目前最好的水平。另一方面，学术界对分词任务的基础即词的基本定义有着不用的看法。许多研究者提出了不同的分词标准，并且人工标注了相应的分词语料数据。传统研究基于特定分词标准的数据集，训练出一个中文分词模型。然而这些研究受限于数据集的大小，无法充分利用不同的分词标准的数据集。对此，近年来许多研究者对如何利用不同分词标准的数据集展开了深入研究(参见文献[8～10])。文献[8]和[9]都是先在某个分词标准的数据集上训练出一个初步的分词模型，然后使用这个模型的输出作为其他分词标准的分词模型的特征。文献[10]中探索了不同分词标准的标签映射，这样可以达到数据映射的目的。但是，目前没有相关研究探索如何在深度学习中同时应用不同分词标准的数据来联合训练不同的分词模型，该问题值得深入研究。参考文献：

[1]Pei W,Ge T,Chang B.Max-Margin Tensor Neural Network for ChineseWord Segmentation[C]//ACL(1).2014:293-303.

[2]Zheng X,Chen H,Xu T.Deep Learning for Chinese Word Segmentationand POS Tagging[C]//EMNLP.2013:647-657.

[3]Chen X,Qiu X,Zhu C,et al.Long short-term memory neural networksfor chinese word segmentation[C]//Proceedings of the Conference on EmpiricalMethods in Natural Language Processing.2015:1385-1394.

[4]Chen X,Qiu X,Zhu C,et al.Gated recursive neural network forChinese word segmentation[C]//Proceedings of Annual Meeting of theAssociation for Computational Linguistics.pendency parsing using twoheterogeneous gated recursive neural networks.In Proceedings of theConference on Empirical Methods in Natural Language Processing.2015.