[发明专利]异常标点清洗方法、存储介质及服务器

权利要求书

1.一种异常标点清洗方法，其特征在于，所述异常标点清洗方法包括：

从医疗语料库中进行句子抽取，抽取出不包括任何标点和空格类字符的语句；

对抽取出的语句进行泛化处理；

基于抽取出的语句中的词频特征，对抽取出的语句进行聚类；

针对聚类后得到的每一个句子类别，进行信息统计，找出异常标点，并对找出的异常标点进行自动清洗；

针对聚类后得到的每一个句子类别，统计在当前句子类别A的位置之前出现频率最高的句子类别B，并统计在句子类别A和句子类别B之间出现频率最高的标点符号P1，以及在句子类别A和句子类别B之间出现次数低于预设阈值的分隔符W1；

统计在当前句子类别A的位置之后出现频率最高的句子类别C，并统计在句子类别A和句子类别C之间出现频率最高的标点符号P2，以及在句子类别A和句子类别C之间出现次数低于预设阈值的分隔符W2；

将在句子类别A和句子类别B之间出现次数低于预设阈值的分隔符W1，以及在句子类别A和句子类别C之间出现次数低于预设阈值的分隔符W2，均视为异常标点；

其中，所述分隔符W1和分隔符W2包括一个或者多个标点符号。

2.如权利要求1所述的异常标点清洗方法，其特征在于，所述基于抽取出的语句中的词频特征，对抽取出的语句进行聚类，包括：

根据抽取出的语句中的词频和逆向文件频率，采用基于距离的聚类算法，对抽取出的语句进行聚类。

3.如权利要求2所述的异常标点清洗方法，其特征在于，所述采用基于距离的聚类算法，对抽取出的语句进行聚类，包括：

采用距离作为相似性的评价指标，利用误差平方和准则函数作为聚类准则函数，对抽取出的语句进行聚类。

4.如权利要求1所述的异常标点清洗方法，其特征在于，所述对找出的异常标点进行自动清洗，包括：

将句子类别A和句子类别B之间的异常标点W1替换为出现频率最高的标点符号P1，将句子类别A和句子类别C之间的异常标点W2替换为出现频率最高的标点符号P2。

5.一种存储介质，所述存储介质存储有多条指令，其特征在于，所述指令适用于由处理器加载并执行权利要求1至4任一项所述的异常标点清洗方法。

6.一种服务器，其特征在于，所述服务器包括存储介质、处理器及存储在所述存储介质上并可在所述处理器上运行的异常标点清洗系统，所述异常标点清洗系统被所述处理器执行时实现如下步骤：

从医疗语料库中进行句子抽取，抽取出不包括任何标点和空格类字符的语句；

对抽取出的语句进行泛化处理；

基于抽取出的语句中的词频特征，对抽取出的语句进行聚类；

针对聚类后得到的每一个句子类别，进行信息统计，找出异常标点，并对找出的异常标点进行自动清洗；

针对聚类后得到的每一个句子类别，统计在当前句子类别A的位置之前出现频率最高的句子类别B，并统计在句子类别A和句子类别B之间出现频率最高的标点符号P1，以及在句子类别A和句子类别B之间出现次数低于预设阈值的分隔符W1；

统计在当前句子类别A的位置之后出现频率最高的句子类别C，并统计在句子类别A和句子类别C之间出现频率最高的标点符号P2，以及在句子类别A和句子类别C之间出现次数低于预设阈值的分隔符W2；

将在句子类别A和句子类别B之间出现次数低于预设阈值的分隔符W1，以及在句子类别A和句子类别C之间出现次数低于预设阈值的分隔符W2，均视为异常标点；

其中，所述分隔符W1和分隔符W2包括一个或者多个标点符号。

7.如权利要求6所述的服务器，其特征在于，所述基于抽取出的语句中的词频特征，对抽取出的语句进行聚类，所述处理器还用于执行所述异常标点清洗系统，以实现如下步骤：

根据抽取出的语句中的词频和逆向文件频率，采用基于距离的聚类算法，对抽取出的语句进行聚类；

其中，所述基于距离的聚类算法包括：

采用距离作为相似性的评价指标，利用误差平方和准则函数作为聚类准则函数，对抽取出的语句进行聚类。

8.如权利要求6所述的服务器，其特征在于，所述对找出的异常标点进行自动清洗，所述处理器还用于执行所述异常标点清洗系统，以实现如下步骤：

将句子类别A和句子类别B之间的异常标点W1替换为出现频率最高的标点符号P1，将句子类别A和句子类别C之间的异常标点W2替换为出现频率最高的标点符号P2。