[发明专利]基于语义模型的训练方法、装置以及电子设备

说明书

本申请提供了一种基于语义模型的训练方法、装置以及电子设备，涉及模型训练技术领域，解决目前语义识别模型的识别结果准确率较低的技术问题。方法包括：基于标注的训练样本集对语义标注模型进行训练，得到训练后的语义标注模型；基于语义标注模型重复执行下述步骤，直至识别模型的识别结果满足预设条件，输出训练后的识别模型：基于语义标注模型对未标注文本集中的每个文本进行识别，得到每个文本的初步标签；基于关键词集合以及判定逻辑，对每个文本的初步标签进行判断得到每个文本的最终标签；基于每个文本的最终标签对训练后的语义标注模型进行训练，以及对中间判定逻辑和中间关键词集合进行优化；确定识别模型的识别结果是否满足预设条件。

技术领域

本申请涉及模型训练技术领域，尤其是涉及一种基于语义模型的训练方法、装置以及电子设备。

背景技术

目前，语义识别模型的种类有很多种，例如，自然语言处理(Natural LanguageProcessing，NLP)模型、双向编码器(Bidirectional Encoder Representations fromTransformers，BERT)等。

但是，无论基于何种模型进行语义识别，都很容易造成各种歧义，出现错误识别的现象。例如，“张哥”、“王姐”等识别成亲戚哥哥、姐姐，父亲与某人的父亲之间的歧义，等等，导致最终识别结果存在大量的误判，使目前语义识别模型的识别结果准确率较低。

发明内容

本发明的目的在于提供一种基于语义模型的训练方法、装置以及电子设备，以解决目前语义识别模型的识别结果准确率较低的技术问题。

第一方面，本申请实施例提供了一种基于语义模型的训练方法，预先确定标注的训练样本集、未标注文本集以及识别模型，所述识别模型包括语义标注模型、判定逻辑以及关键词集合，所述关键词集合中的关键词为基于所述标注的训练样本集确定的具有歧义的词；所述方法包括：

基于所述标注的训练样本集对所述语义标注模型进行训练，得到训练后的语义标注模型；基于所述语义标注模型重复执行下述步骤，直至所述识别模型的识别结果满足预设条件，输出为训练后的识别模型：

基于所述语义标注模型对所述未标注文本集中的每个文本进行识别，得到每个所述文本的初步标签；

基于所述关键词集合以及所述判定逻辑，对每个所述文本的初步标签进行判断，得到每个所述文本的最终标签；

基于每个所述文本的最终标签对所述训练后的语义标注模型进行训练，以及对中间判定逻辑和中间关键词集合进行优化；

确定所述识别模型的识别结果是否满足预设条件。

在一个可能的实现中，所述关键词集合的存储方式为分布式存储的方式；和/或，所述标注的训练样本集和所述未标注文本集的存储方式为分布式存储的方式。

在一个可能的实现中，所述关键词集合中的关键词对应有标签；多个所述标签被分至多个不同标签种类的组内，每个所述组内的标签具有与对应组之间的索引。

在一个可能的实现中，所述关键词集合中的关键词为目标对象的身份关键词；

所述标注的训练样本集和所述未标注文本集中的样本均为所述目标对象的社交数据样本。

在一个可能的实现中，所述目标对象的社交数据样本的标注内容包括下述任意一项或多项：

时间、地点以及所述目标对象的标识、工作行业领域、社交关系和亲属关系。

在一个可能的实现中，所述标注的训练样本集包括：训练样本和测试样本；

确定所述识别模型的识别结果是否满足预设条件的步骤，包括：

基于所述测试样本通过所述识别模型，得到测试结果；