[发明专利]基于无监督学习的分词方法、装置、设备及存储介质

权利要求书

1.一种基于无监督学习的分词方法，其特征在于，包括下述步骤：

S1，获取待分词文本；

S2，对所述待分词文本进行标记化，得到所述待分词文本的标记序列，其中所述标记序列包含M个标记；

S3，对所述标记序列中第i个标记掩码，并将掩码后的标记序列输入到预调优的Mac-bert模型中，获得所述Mac-bert模型输出的第一预测词向量；

S4，对所述标记序列中第i个标记和第i+1个标记掩码，并将掩码后的标记序列输入到预调优的Mac-bert模型中，获得所述Mac-bert模型输出的第二预测词向量；

S5，计算所述第一预测词向量和所述第二预测词向量的第一相似度；

S6，当所述第一相似度小于预设的阈值时，将所述第i个标记和所述第i+1个标记进行切分，记录切分位置；

S7，i取1到M-1，重复步骤S3至步骤S6，得到所有切分位置，根据每个切分位置对所述待分词文本进行分词，得到所述待分词文本的分词结果。

2.根据权利要求1所述的基于无监督学习的分词方法，其特征在于，在步骤S3之前还包括：

获取训练数据，并随机对所述训练数据中至少10％的数据进行掩码，得到掩码后的训练数据；

将所述掩码后的训练数据输入到Mac-bert模型中，获得所述Mac-bert模型响应所述掩码后的训练数据而输出的掩码位置的预测数据；

通过softmax损失函数比较所述掩码位置的预测数据和被掩码前的数据的一致性；

调整所述Mac-bert模型中各节点的参数，至所述损失函数达到最小值时结束，得到预调优的Mac-bert模型。

3.根据权利要求1所述的基于无监督学习的分词方法，其特征在于，在步骤S5之后，还包括：

S31，当所述第一相似度大于或等于预设的阈值时，对所述标记序列中第i个标记和第i+j个标记掩码，并将掩码后的标记序列输入到预调优的Mac-bert模型中，获得所述Mac-bert模型输出的第i个标记的第三预测词向量；

S32，计算所述第一预测词向量和所述第三预测词向量的第二相似度；

S33，j依次取2到M-i，重复步骤S31和步骤S32，至所述第二相似度小于预设的阈值时结束，获取j的当前值G；

S34，根据所述j的当前值G，对第i+G-1个标记和所述第i+G个标记进行切分，记录切分位置。

4.根据权利要求1所述的基于无监督学习的分词方法，其特征在于，步骤S5之后，还包括：

当所述第一相似度大于或等于预设的阈值时，令i的取值依次+1，重复步骤S3至步骤S6，直至所述第一相似度小于预设的阈值时结束，获取i的当前值R；

根据i的当前值R，对第R-1个标记和第R个标记进行切分，记录切分位置。

5.根据权利要求1-4任一项所述的基于无监督学习的分词方法，其特征在于，在步骤S5中，所述第一相似度按照下述算法计算：

L＝1/d(u,v),d(u，v)＝‖u-v‖²，其中u为第一预测词向量,v为第二预测词向量，d为欧氏距离，L为第一相似度。