[发明专利]文本类别检测方法、装置、电子设备和计算机可读介质

权利要求书

1.一种文本类别检测方法，其特征在于，所述方法包括：

获取样本集，其中，所述样本集中包括多个文本样本和各文本样本的类别标识；

获取预训练后的、基于transformer结构的双向编码器表征BERT模型，其中，所述BERT模型包含多层transformer结构；

删减所述BERT模型中的部分transformer结构，生成目标语言模型；

基于所述样本集中的文本样本和类别标识，对所述目标语言模型进行训练，生成文本类别检测模型；

利用所述文本类别检测模型进行文本类别检测。

2.根据权利要求1所述的文本类别检测方法，其特征在于，所述BERT模型包含12层transformer结构；以及

所述删减所述BERT模型中的部分transformer结构，包括：

按照transformer结构的层数由高到低的顺序，删减所述BERT模型中的连续8层transformer结构。

3.根据权利要求1所述的文本类别检测方法，其特征在于，所述样本集中的文本样本通过如下步骤获取：

获取用户行为数据；

从所述用户行为数据中提取搜索文本，将所提取的各搜索文本确定为文本样本。

4.根据权利要求3所述的文本类别检测方法，其特征在于，所述各文本样本的类别标识通过如下步骤获取：

从所述用户行为数据中，提取用户对各文本样本搜索后的点击数据；

对所述点击数据进行统计，确定各文本样本的类别的概率分布，将所确定的概率分布作为相应的文本样本的类别标识。

5.根据权利要求1所述的文本类别检测方法，其特征在于，所述基于所述样本集中的文本样本和类别标识，利用机器学习方法对所述目标语言模型进行训练，生成文本类别检测模型，包括：

读取训练参数，其中，所述训练参数包括以下至少一项：文本最大读取长度、批处理数、所述样本集的遍历次数、学习率；

执行如下训练步骤：按照所述训练参数，将文本样本作为所述目标语言模型的输入，将所输入的文本样本的类别标识作为所述目标语言模型的输出，利用机器学习方法对所述目标语言模型进行训练；确定所述目标语言模型是否训练完成；响应于确定训练完成，将训练后的目标语言模型确定为文本类别检测模型；

响应于确定未训练完成，调整所述训练参数，重新执行所述训练步骤。

6.根据权利要求1所述的文本类别检测方法，其特征在于，所述确定所述目标语言模型是否训练完成，包括：

获取测试集，其中，所述测试集中包括多个测试文本和各测试文本的类别信息；

将所述测试集中的各测试文本分别输入至训练后的目标语言模型，得到所述各测试文本的类别检测结果；

基于所述类别检测结果和所述类别信息，统计所述目标语言模型所输出的类别检测结果的准确率和召回率；

基于所述准确率和所述召回率，确定所述目标语言模型是否训练完成。

7.根据权利要求1所述的文本类别检测方法，其特征在于，所述利用所述文本类别检测模型进行文本类别检测，包括：

接收终端设备发送的搜索请求，其中，所述搜索请求包括目标搜索文本；

将所述目标搜索文本输入至所述文本类别检测模型，得到所述目标搜索文本的类别检测结果。

8.根据权利要求1所述的文本类别检测方法，其特征在于，所述利用所述文本类别检测模型进行文本类别检测，包括：

获取历史搜索文本集；

将所述历史搜索文本集中的各历史搜索文本分别输入至所述文本类别检测模型，得到各历史搜索文本的类别检测结果；

接收终端设备发送的搜索请求，其中，所述搜索请求包括目标搜索文本；

确定所述历史搜索文本集中是否存在与所述目标搜索文本相匹配的目标历史搜索文本；

若存在，将所述目标历史搜索文本的类别检测结果确定为所述目标搜索文本的类别检测结果；

若不存在，将所述目标搜索文本输入至所述文本类别检测模型，得到所述目标搜索文本的类别检测结果。