[发明专利]一种无标点文本分句方法

说明书

本发明涉及计算机领域的人工智能技术领域，具体涉及一种无标点文本分句方法，S1：中文文本数据预处理，从数据库里提取待处理的文本数据，并确定分割文本的标识符类别，清洗数据，去掉文本中特殊的字符；S2：根据标签对处理好的数据进行数据标注，每一个字符后增加一个语料，单条语料里每个字符一行，语料与字符间用空格隔开；S3：将标注后的文本放入BERT中文预训练语言模型中，把中文字符转换为Embedding空间字向量；S4：将提取的Embedding空间向量放入BiLSTM中得到包含上下文信息的向量h，再经过一个dropout层后，将h的维度映射为维度为标签个数的向量；S5：将步骤S4产生的结果经CRF层后输出得分最高的标签序列，经过以上步骤不断的训练迭代，直至模型收敛。

技术领域

本发明涉及计算机领域的人工智能技术领域，具体涉及一种无标点文本分句方法。

背景技术

随着互联网的兴起，世界也迅速进入信息化时代，越来越多的人们开始接触互联网，聊天、购物等也成为了常态。中国有近十亿网民，其中大部分网民文化程度不高，在新闻媒体等网站留言过程中，产生了很多没有任何分割标识的留言内容，对审核人员造成了很大的时间成本和人力成本。为了降低人力时间成本，通过计算机技术来给这类留言内容作智能分句就显得尤为重要。

目前，在该技术领域也有了一些研究实践，包括用膨胀卷积网络以及递归神经网络来实现分句功能，但是膨胀卷积网络难以兼顾文本的上下文语义信息，容易造成信息丢失；而递归神经网络在训练过程中耗时、也容易造成梯度消失等问题，增加了模型训练的难度和降低了模型预测的准确率。

发明内容

为克服上述现有技术中存在的问题，本发明的目的是提供一种无标点文本分句方法，克服了前述现有技术存在的训练耗时、网络梯度消失、上下文语义缺失等问题，提出了一种新的智能分句解决方法，旨在解决中文文本中没有分句标识的问题，方便审核人员审看，提升审核效率，减少时间、人力成本，解决了现有技术中存在的问题。

本发明所采用的技术方案是：一种无标点文本分句方法，包括如下步骤：

S1：中文文本数据预处理，从数据库里提取待处理的文本数据，并确定分割文本的标识符类别，清洗数据，去掉文本中特殊的字符；

S2：根据标签对处理好的数据进行数据标注，每一个字符后增加一个语料，单条语料里每个字符一行，语料与字符间用空格隔开；

S3：将标注后的文本放入BERT中文预训练语言模型中，把中文字符转换为Embedding空间字向量；

S4：将提取的Embedding 空间向量放入BiLSTM中得到包含上下文信息的向量h，再经过一个dropout层后，将h的维度映射为维度为标签个数的向量；

S5：将步骤S4产生的结果经CRF层后输出得分最高的标签序列，经过以上步骤不断的训练迭代，直至模型收敛。

优选的步骤S4与S5即BiLSTM+CRF结构的优化目标函数是：。

优选的步骤S5中，为使模型效果达到最优，设定不同的参数进行模型训练，训练好的模型在测试集上进行测试，选择F1值最高的模型作为最终模型。

优选的步骤S1中所述的文本中特殊的字符包括：标点符号、空格、换行符等。

优选的步骤S3中Embedding空间字向量是3个嵌入特征的单位和，分别是字本身的字向量、句子向量及位置向量。

优选的步骤S4中所述的向量h是上文信息向量h-before和下文信息向量h-after的拼接。

优选的所述的参数主要包括学习率和batch_size。

优选的还包括步骤S6：预测，将预测的序列输入模型中，使用维特比算法进行解码得到标签序列，再与输入序列每个位置进行对比，按照标点符号标签类别在对应的位置添加分隔符，完成输入序列的自动分句。

本发明的有益效果是：