[发明专利]LightGBM集成多个BERT模型用于加速系统评价更新的方法

权利要求书

1.LightGBM集成多个BERT模型用于加速系统评价更新的方法，其特征在于，包括以下步骤：

步骤s1：采用预先原有的系统评价初筛数据作为语料库，并将所述初筛数据分割为训练集、开发集以及测试集，所述初筛数据包括文本和原本的分类标签；

步骤s2：把训练集、开发集、测试集中的文本均分别转化为位置向量、文本向量和字向量；

步骤s3：使用训练集中的文本转化后的位置向量、文本向量、字向量和原本的分类标签分别训练4个BERT模型；

步骤s4：使用开发集中的文本转化后的位置向量、文本向量、字向量和步骤s1中原本的分类标签来调整4个BERT模型的超参数；

步骤s5：使用训练好的4个BERT模型对训练集和开发集文本进行分类；

步骤s6：训练LightGBM模型；

步骤s7：使用4个BERT模型对测试集数据进行分类，得到分类结果，lightGBM模型综合4个BERT模型的分类结果得到测试集的最终分类结果。

2.根据权利要求1所述的LightGBM集成多个BERT模型用于加速系统评价更新的方法，其特征在于：在步骤s1中，所述分割的方式为将某一个时间节点之后发表的文本作为测试集，将该时间节点之前的文本按照五折交叉验证的方式分为训练集和开发集。

3.根据权利要求1所述的LightGBM集成多个BERT模型用于加速系统评价更新的方法，其特征在于：所述4个BERT模型分别为SCI-BBUP、SCI-BBUPC、BIOBU和BBU，SCI-BBUP为BlueBERT-base不区分大小写且受PubMed训练的BERT模型，SCI-BBUPC为BlueBERT-base不区分大小写且受PubMed和clinical notes训练的BERT模型，BIO-BBU为BioBERT-base不区分大小写且受PubMed训练的BERT模型，BBU为Bert-base不区分大小写且受英文维基百科训练的BERT模型。

4.根据权利要求1所述的LightGBM集成多个BERT模型用于加速系统评价更新的方法，其特征在于：在步骤s5中，训练集和开发集中的每一个文本经过一个BERT模型分类会得到一个2维向量作为分类结果；因此训练集和开发集的一个文本经过4个BERT模型的分类得到了一个8维向量。

5.根据权利要求4所述的LightGBM集成多个BERT模型用于加速系统评价更新的方法，其特征在于：在步骤s6中，使用训练集和开发集的文本转化后的8维向量数据和训练集原本的分类标签来训练LightGBM模型，并采用十折交叉验证，逐步调整LightGBM模型超参数。