[发明专利]一种基于机器学习的文章断句方法

权利要求书

1.一种基于机器学习的文章断句方法，其特征在于，首先获取文本中的分隔符号，提取各分隔符号以及分隔符号两侧的相邻词语形成特征标记；将文本的特征标记输入预设的切分模型，通过切分模型从特征标记中筛选有效分隔符合并输出；然后根据有效分割符号获得文本断句结果。

2.如权利要求1所述的基于机器学习的文章断句方法，其特征在于，特征标记的获取方法具体包括：

读取文本，以标示句子结尾的符号作为句子结尾符号，使用正则找到文本中出现句子结尾符号的位置作为句子边界位置；

通过分词工具对各句子结尾符号相邻两侧语句进行切分，获得各句子结尾符号相邻两侧的词语作为边界邻近词语；

组合句子边界位置和对应的边界邻近词语形成特征标记。

3.如权利要求2所述的基于机器学习的文章断句方法，其特征在于，寻找句子边界位置时，首先对文本中用于标示句子结尾的符号进行统一。

4.如权利要求2所述的基于机器学习的文章断句方法，其特征在于，通过二元平均感知器对文本进行学习，以获取边界邻近词语。

5.如权利要求1所述的基于机器学习的文章断句方法，其特征在于，切分模型的训练方式包括：首先获得文本样本，并将文本样本人工标注断句结果；提取各文本样本的特征标记，然后抽取部分文本样本作为训练样本，根据训练样本对应的人工标注和特征标记训练切分模型；再将另一部分文本样本作为修正样本，将修正样本的特征标记输入切分模型获取模型断句结果，再通过修正样本对应的人工标注和模型断句结果的对比，对切分模型进行验证；然后对切分模型进行循环训练，直至验证通过。