[发明专利]一种大规模预训练模型微调方法及装置

说明书

本发明公布了一种大规模预训练模型微调方法及装置，所述方法包括：获取下游任务的训练数据集和预训练模型；根据所述训练数据集为所述预训练模型的各个参数计算出费希尔信息量；将预训练模型的各个参数，按照计算出的费希尔信息量的绝对值进行排序；选取设定比例的参数组成下游任务的功能子网络；对预训练模型进行微调，只更所述新功能子网络中的参数。本发明对不同的下游任务，自动选择与其最相关的、最重要的功能子网络，在微调过程中只更新这个功能子网络，这样降低了模型的复杂度与假设空间，能够有效避免模型在下游任务中产生严重的过拟合现象。

技术领域

本发明属于深度学习自然语言处理领域，涉及一种大规模预训练模型的微调方法及装置，用于发现预训练模型中与下游任务高度相关的特定功能子网络，并对其进行微调的方法及装置。

背景技术

自然语言处理(NLP)，目的是使得计算机具备人类的听、说、读、写、译、问、答、搜索、摘要、对话和聊天等能力，并可利用知识和常识进行推理和决策，并支持客服、诊断、法律、教学等场景。预训练模型，则是使自然语言处理由原来的手工调参、依靠专家的阶段，进入到可以大规模、可复制的大工业施展的阶段，是已经用数据集训练好了的模型。预训练模型过微调之后，用于支持分类、序列标记、结构预测和序列生成等各项技术，并构建文摘、机器翻译、图片检索、视频注释等应用。

现有技术中的预训练模型微调方法包括：

1.将大规模预训练模型的所有参数设置为可训练参数，并在下游任务上同步进行微调，更新所有参数(BERT:Pre-training of Deep Bidirectional Transformers forLanguage Understanding，Jacob Devlin,Ming-Wei Chang,Kenton Lee,KristinaToutanova，NAACL2019)

2.将大规模预训练模型所有参数冻结住不更新，在下游任务上微调的时候只更新最顶层的分类层(To Tune or Not to Tune？Adapting Pretrained Representations toDiverse Tasks， Matthew E.Peters,Sebastian Ruder,Noah A.Smith，Proceedings ofthe 4th Workshop on Representation Learning for NLP)

3.将大规模预训练模型的最底下某些层冻结住不更新，在下游任务上微调的时候只更新最上面的K层以及分类层(Parameter-Efficient Transfer Learning for NLP，Neil Houlsby, Andrei Giurgiu,Stanislaw Jastrzebski,Bruna Morrone,Quentin deLaroussilhe,Andrea Gesmundo, Mona Attariyan,Sylvain Gelly，ICML2019)

现有技术存在的问题包括：

1.大规模预训练模型在下游任务上微调，特别是训练数据量比较少的下游任务上微调的时候，由于模型结构复杂、参数量大，而训练数据少，很容易出现过拟合现象，导致在下游任务上表现不佳，泛化性能差。

2.常见的解决手段，比如【现有技术2】将预训练模型所有参数冻结或者【现有技术3】只微调预训练模型的最上面K层的做法，尽管减少了模型假设空间从而缓解过拟合现象，但是其粒度太大为“层”级别，控制效果过于粗糙，从而效果不是很理想。

发明内容

本发明的目的是提供一种大规模预训练模型微调方法及装置，用以解决大规模预训练模型在下游任务上微调训练的时候的过拟合现象。

为了解决现有技术中存在的问题，一方面本发明提供一种大规模预训练模型微调方法，技术方案如下：

获取下游任务的训练数据集和预训练模型；