[发明专利]基于注意力机制的自蒸馏中文分词方法、终端及存储介质

说明书

本发明公开了基于注意力机制的自蒸馏中文分词方法、终端及存储介质，其中，方法包括：将预处理后的训练集引入预训练模型；通过迭代训练获得教师模型；通过所述教师模型与学生模型获取注意力权重矩阵；将所述注意力权重矩阵引入知识蒸馏过程，对所述学生模型进行有针对性的学习训练；通过验证集对学习训练所获得的整个模型进行验证，得到蒸馏后的中文分词模型。本发明通过自蒸馏可以达到优化模型自身结构的目标，且进一步利用注意力机制有侧重点地学习被蒸馏的知识，提高了模型识别未登录词的能力，从而较好地解决了现有中文分词模型无法准确处理未登录词的问题。

技术领域

本发明涉及人工智能领域，尤其涉及的是一种基于注意力机制的自蒸馏中文分词方法、终端及存储介质。

背景技术

现有的中文分词模型，大多沿用序列标注形式进行研究。从输入到最终输出结果，经历了Embedding、Encoder和Decoder三个主要部分：Embedding部分(信息嵌入)，将输入字符转化为分布式的、计算机能够理解和运算的一串信息；Encoder部分(编码器)，将Embedding信息进行编码，通过特定运算后使计算机能够捕获各个Embedding之间的关系；Docoder部分(解码器)，将编码后的信息解码，然后再还原成人类能够理解的字符信息。

然而，现在大多数研究工作都将焦点聚集在丰富输入信息(如n-gram词信息)，设计更复杂的模型结构等方法来进一步提升特定任务的效果，鲜少有研究人员设计方法来优化模型本身的参数结构而达到这一目的；此外，现有模型虽然都能获得很高的精确率与召回率(F1值)，但模型对未登录词(即没有被收录在分词词表中但必须切分出来的词，包括各类专有名词、缩写词、新增词汇等等)的识别能力尚待提升；

例如，需要对“千载难逢天外客”这一语句进行分词处理，“天外客”这一未登录词很难通过现有模型准确分割为“天外”、“客”；或需要对“楼空空锁楼中燕”进行分词处理，“楼中燕”这一未登录词同样很难通过现有模型准确分割为“楼中”、“燕”。

因此，现有技术还有待改进。

发明内容

本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种基于注意力机制的自蒸馏中文分词方法、终端及存储介质，以解决现有的中文分词模型无法准确处理未登录词的问题。

本发明解决技术问题所采用的技术方案如下：

第一方面，本发明提供一种基于注意力机制的自蒸馏中文分词方法，基于注意力机制的自蒸馏中文分词方法包括以下步骤：

将预处理后的训练集引入预训练模型；

通过迭代训练获得教师模型；

通过所述教师模型与学生模型获取注意力权重矩阵；

将所述注意力权重矩阵引入知识蒸馏过程，对所述学生模型进行有针对性的学习训练；

通过验证集对学习训练所获得的整个模型进行验证，得到蒸馏后的中文分词模型。

在一种实现方式中，所述将预处理后的训练集引入预训练模型，之前包括：

从原训练集中获取中文分词词典；

从所述原训练集中随机抽取第一比例的数据作为所述训练集；

从所述原训练集中随机抽取第二比例的数据作为所述验证集。

在一种实现方式中，所述将预处理后的训练集引入预训练模型，之前还包括：

将所述训练集中的字符串转化为字符向量，并将所述字符向量与用于表达字符位置的位置向量结合，得到所述预处理后的训练集。

在一种实现方式中，所述通过迭代训练获得教师模型，包括：