[发明专利]一种无标点文本分句方法

权利要求书

1.一种无标点文本分句方法，其特征在于包括如下步骤：

S1：中文文本数据预处理，从数据库里提取待处理的文本数据，并确定分割文本的标识符类别，清洗数据，去掉文本中特殊的字符；

S2：根据标签对处理好的数据进行数据标注，每一个字符后增加一个语料，单条语料里每个字符一行，语料与字符间用空格隔开；

S3：将标注后的文本放入BERT中文预训练语言模型中，把中文字符转换为Embedding空间字向量；

S4：将提取的Embedding 空间向量放入BiLSTM中得到包含上下文信息的向量h，再经过一个dropout层后，将h的维度映射为维度为标签个数的向量；

S5：将步骤S4产生的结果经CRF层后输出得分最高的标签序列，经过以上步骤不断的训练迭代，直至模型收敛。

2.根据权利要求1所述的一种无标点文本分句方法，其特征在于：步骤S4与S5即BiLSTM+CRF结构的优化目标函数是：

。

3.根据权利要求1所述的一种无标点文本分句方法，其特征在于：步骤S5中，为使模型效果达到最优，设定不同的参数进行模型训练，训练好的模型在测试集上进行测试，选择F1值最高的模型作为最终模型。

4.根据权利要求1所述的一种无标点文本分句方法，其特征在于：步骤S1中所述的文本中特殊的字符包括：标点符号、空格、换行符等。

5.根据权利要求1所述的一种无标点文本分句方法，其特征在于：步骤S3中Embedding空间字向量是3个嵌入特征的单位和，分别是字本身的字向量、句子向量及位置向量。

6.根据权利要求1所述的一种无标点文本分句方法，其特征在于：步骤S4中所述的向量h是上文信息向量h-before和下文信息向量h-after的拼接。

7.根据权利要求3所述的一种无标点文本分句方法，其特征在于：所述的参数主要包括学习率和batch_size。

8.根据权利要求1至7任一项所述的一种无标点文本分句方法，其特征在于：

还包括步骤S6：预测，将预测的序列输入模型中，使用维特比算法进行解码得到标签序列，再与输入序列每个位置进行对比，按照标点符号标签类别在对应的位置添加分隔符，完成输入序列的自动分句。