[发明专利]一种建立财税优惠政策的信息抽取模型的方法和系统

说明书

本发明实施例公开了一种建立财税优惠政策的信息抽取模型的方法和系统，所述方法包括：获取第一标注数据集，根据第一标注数据集生成最优第一层级信息抽取模型；获取第二标注数据集，根据第二标注数据集生成最优第二层级信息抽取模型，以及将最优第一层级信息抽取模型和最优第二层级信息抽取模型的组合作为财税优惠政策的信息抽取模型，其中，最优第一层级信息抽取模型和最优第二层级信息抽取模型都是经过微调的Bert base后接CRF层。所述方法和系统通过为财税优惠政策信息的抽取设计一种双层级的Bert+CRF模型，有效解决了对信息进行识别时，由于自定义的种类多，且标注数据少带来的数据稀疏问题，有效提升了信息抽取的效率。

技术领域

本发明涉及信息抽取领域，尤其是一种建立财税优惠政策的信息抽取 模型的方法和系统。

背景技术

目前，纳税人在判断财税优惠政策的适用条件和申报享受上存在较大 困难，也就是说财税优惠政策中的关键纳税人条件与纳税人画像如何匹配， 从而做到将财税优惠政策精准推荐给适用该政策的纳税人就成为一个急需 解决的问题，而在这一问题中，如何对财税优惠政策中的信息进行抽取以 得到上述关键纳税人条件则是最关键的一步，其主要作用是抽取政策文本 中较重要的信息，如税种、行业、区域、纳税人信用等级等。目前通用方 法包括实体识别模型LSTM+CRF，lattice LSTM等，可抽取三种实体类型： 人名、地名、机构名。对于政策内容的信息抽取，因不仅限于以上三种实 体类型，还包括和业务相关的自定义实体，如税种、税率等。因此采用 LSTM+CRF，lattice LSTM等网络模型识别自定义实体，需要大量的标注数 据做训练，网络才能达到较好的效果，对人力资源的耗费巨大。

发明内容

为了解决现有技术中对财税优惠政策中的信息进行抽取，需要大量的 标注数据训练模型，造成的人力资源耗费巨大的技术问题，本发明的实施 例提供了一种建立财税优惠政策的信息抽取模型的方法和系统。

根据本发明实施例的一个方面，提供了一种建立财税优惠政策的信息 抽取模型的方法，所述方法包括：

步骤101、获取第一标注数据集，其中，所述第一标注数据集是按照 预先设置的第一信息抽取内容对财税优惠政策信息进行标注后生成的数据 集；

步骤102、将第一标注数据集输入初始第一层级信息抽取模型进行模 型训练，生成最优第一层级信息抽取模型，其中，所述初始第一层级信息 抽取模型是公开的预训练模型Bert base后接初始第一CRF层，所述最优第 一层级信息抽取模型是最优第一预训练模型Bert base后接最优第一CRF层， 所述最优第一预训练模型Bert base是对公开的预训练模型Bert base进行微 调得到的预训练模型Bert base，所述最优第一CRF层是对初始第一CRF层 调整参数后得到的CRF层；

步骤103、获取第二标注数据集，其中，所述第二标注数据集是按照 预先设置的第二信息抽取内容对财税优惠政策信息进行标注后生成的数据 集；

步骤104、将第二标注数据集输入初始第二层级信息抽取模型进行模 型训练，生成最优第二层级信息抽取模型，其中，所述初始第二层级信息 抽取模型是初始第二预训练模型Bert base后接初始第二CRF层，所述初始 第二预训练模型Bert base是将最优第一预训练模型Bert base的前N层的训 练参数迁移到公开的预训练模型Bert base的前N层后得到的预训练模型 Bert base，最优第二层级信息抽取模型是最优第二预训练模型Bertbase后 接最优第二CRF层，所述最优第二预训练模型Bert base是对初始第二预训 练模型Bert base进行微调得到的预训练模型Bert base，所述最优第二CRF 层是对初始第二CRF层调整参数后得到的CRF层，N为自然数；

步骤105、将最优第一层级信息抽取模型和最优第二层级信息抽取模 型的组合作为财税优惠政策的信息抽取模型。