[发明专利]文本类别检测方法、装置、电子设备和计算机可读介质

说明书

本申请实施例公开了文本类别检测方法、装置、电子设备和计算机可读介质。该方法的实施例包括：获取样本集，其中，样本集中包括多个文本样本和各文本样本的类别标识；获取预训练后的BERT模型，其中，BERT模型包含多层transformer结构；删减BERT模型中的部分transformer结构，生成目标语言模型；基于样本集中的文本样本和类别标识，对目标语言模型进行训练，生成文本类别检测模型。该实施方式提供了一种用于进行文本类别检测的模型，利用该模型进行文本类别检测，可提高类别检测结果的准确性。

技术领域

本申请实施例涉及计算机技术领域，具体涉及文本类别检测方法、装置、电子设备和计算机可读介质。

背景技术

自然语言处理(Natural Language Processing，NLP)是人工智能的一个子领域，目标是让计算机处理或理解自然语言，以执行语言翻译和问题回答等任务。在自然语言处理领域中，文本分类是一项重要任务，可以应用于多种场景。例如，在搜索场景下，通过对用户输入的搜索文本进行处理，可以确定出能够表征用户的搜索意图的文本类别(例如餐饮类、酒店类等)，从而返回属于该类别的信息。

通常，在自然语言处理领域，可以采用文档主题生成模型(Latent DirichletAllocation，LDA)、支持向量机(Support Vector Machine，SVM)、深度神经网络(DeepNeural Network，DNN)、长短期记忆网络(Long Short-Term Memory，LSTM)等模型进行任务处理。然而，在文本类别检测任务中，尤其在对搜索文本的类别检测任务中，当文本较短或存在长尾词时，这些模型经常无法准确识别出文本的意图，导致文本的类别检测结果的准确性较低。

发明内容

本申请实施例提出了文本类别检测方法、装置、电子设备和计算机可读介质，用以提高文本的类别检测结果的准确性。

第一方面，本申请实施例提供了一种文本类别检测方法，该方法包括：获取样本集，其中，样本集中包括多个文本样本和各文本样本的类别标识；获取预训练后的、基于transformer结构的双向编码器表征BERT模型，其中，BERT模型包含多层transformer结构；删减BERT模型中的部分transformer结构，生成目标语言模型；基于样本集中的文本样本和类别标识，对目标语言模型进行训练，生成文本类别检测模型；利用文本类别检测模型进行文本类别检测。

第二方面，本申请实施例提供了一种文本类别检测装置，该装置包括：第一获取单元，被配置成获取样本集，其中，样本集中包括多个文本样本和各文本样本的类别标识；第二获取单元，被配置成获取预训练后的、基于transformer结构的双向编码器表征BERT模型，其中，BERT模型包含多层transformer结构；生成单元，被配置成删减BERT模型中的部分transformer结构，生成目标语言模型；训练单元，被配置成基于样本集中的文本样本和类别标识，利用机器学习方法对目标语言模型进行训练，生成文本类别检测模型；检测单元，被配置成利用文本类别检测模型进行文本类别检测。

第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现文本类别检测方法。

第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现文本类别检测方法