[发明专利]读法预测模型获取及读法预测方法、装置及存储介质

说明书

本申请公开了读法预测模型获取及读法预测方法、装置及存储介质，涉及深度学习领域，其中的读法预测模型获取方法可包括：利用第一训练样本集训练得到语言模型，语言模型中至少包含两层多头注意力层；利用语言模型及分类器构成读法预测模型，并利用第二训练样本集训练读法预测模型，以便针对待预测的输入文本，预测出其中的预定类型字符的读法分类。应用本申请所述方案，可提升预测结果的准确性等。

技术领域

本申请涉及计算机应用领域，特别涉及深度学习领域的读法预测模型获取及读法预测方法、装置及存储介质。

背景技术

在实际应用中，某些场景下需要对输入文本中的数字字符读法进行预测，如“打110报警电话”和“打110多个报警电话”，其中的“110”的读法明显是不同的。

传统方式中，多采用卷积神经网络(CNN，Convolutional Neural Network)或长短时记忆网络(LSTM，Long Short-Term Memory)等序列分类或标注模型来进行预测，但此类模型所能获取到的信息(如语义信息)有限，因此预测结果的准确性通常较低。

发明内容

有鉴于此，本申请提供了读法预测模型获取及读法预测方法、装置及存储介质。

一种读法预测模型获取方法，包括：

利用第一训练样本集训练得到语言模型，所述语言模型中至少包含两层多头注意力层；

利用所述语言模型及分类器构成读法预测模型，并利用第二训练样本集训练所述读法预测模型，以便针对待预测的输入文本，预测出其中的预定类型字符的读法分类。

根据本申请一优选实施例，所述利用第一训练样本集训练得到语言模型包括：所述语言模型以基于转换器的双向编码表示BERT为基础，采用字词混掩码训练方式。

根据本申请一优选实施例，所述语言模型中包含依次叠加的词向量层以及第一多头注意力层～第N多头注意力层，N为大于一的正整数；

其中，所述词向量层用于获取输入文本的词向量表示，输出给所述第一多头注意力层；每一层多头注意力层分别以下一层的输出作为输入；所述第N多头注意力层的输出包含所述输入文本中的每个字符在高维空间的向量表示。

根据本申请一优选实施例，所述预定类型字符包括：数字字符；

所述读法预测模型的输出包括：所述输入文本中的每组数字字符分别属于预定义的不同读法的概率。

根据本申请一优选实施例，所述第二训练样本集中的训练样本数小于所述第一训练样本集中的训练样本数。

一种读法预测方法，包括：

获取待预测的输入文本；

将所述输入文本输入预先训练得到的读法预测模型，得到预测出的所述输入文本中的预定类型字符的读法分类；其中，所述读法预测模型由语言模型和分类器构成，所述语言模型中至少包含两层多头注意力层。

根据本申请一优选实施例，所述语言模型以基于转换器的双向编码表示BERT为基础，采用字词混掩码训练方式训练得到。

根据本申请一优选实施例，所述语言模型中包含依次叠加的词向量层以及第一多头注意力层～第N多头注意力层，N为大于一的正整数；

其中，所述词向量层用于获取输入文本的词向量表示，输出给所述第一多头注意力层；每一层多头注意力层分别以下一层的输出作为输入；所述第N多头注意力层的输出包含所述输入文本中的每个字符在高维空间的向量表示。

根据本申请一优选实施例，所述预定类型字符包括：数字字符；

所述读法预测模型的输出包括：所述输入文本中的每组数字字符分别属于预定义的不同读法的概率。