[发明专利]标点添加方法和装置、用于标点添加的装置

权利要求书

1.一种标点添加方法，其特征在于，包括：

获取待处理文本；

为所述待处理文本添加标点，以得到所述待处理文本对应的第一标点添加结果；

若所述第一标点添加结果包括字数超过字数阈值且不包含预置标点的目标文本，则通过神经网络模型为所述目标文本添加标点，以得到所述目标文本对应的第二标点添加结果。

2.根据权利要求1所述的方法，其特征在于，所述通过神经网络模型为所述目标文本添加标点，包括：

对所述目标文本进行分词，以得到对应的第二词序列；

获取所述第二词序列对应的多种候选标点添加结果；

利用神经网络语言模型，确定所述候选标点添加结果对应的语言模型得分；

从所述第二词序列对应的多种候选标点添加结果中选择语言模型得分最优的候选标点添加结果，作为所述目标文本对应的第二标点添加结果。

3.根据权利要求1所述的方法，其特征在于，所述通过神经网络模型为所述目标文本添加标点，包括：

通过神经网络转换模型为所述目标文本添加标点，以得到所述目标文本对应的第二标点添加结果；其中，所述神经网络转换模型为依据平行语料训练得到，所述平行语料包括：源端语料和目标端语料，所述目标端语料为所述源端语料中各词汇对应的标点。

4.根据权利要求3所述的方法，其特征在于，所述通过神经网络转换模型为所述目标文本添加标点，包括：

对所述目标文本进行编码，以得到所述目标文本对应的源端隐层状态；

依据神经网络转换模型的模型参数，对所述目标文本对应的源端隐层状态进行解码，以得到所述目标文本中各词汇属于候选标点的概率；

依据目标文本中各词汇属于候选标点的概率，得到所述目标文本对应的第二标点添加结果。

5.根据权利要求1至4中任一所述的方法，其特征在于，所述为所述待处理文本添加标点，包括：通过N元文法语言模型为所述待处理文本添加标点。

6.根据权利要求5所述的方法，其特征在于，所述通过N元文法语言模型为所述待处理文本添加标点，包括：

对所述待处理文本进行分词，以得到所述待处理文本对应的第一词序列；

在所述第一词序列中相邻词之间添加标点，以得到所述第一词序列对应的全局标点添加路径；

按照从前到后的顺序，通过移动方式从所述全局标点添加路径中获取局部标点添加路径及其对应的第一语义片段；其中，不同第一语义片段所包含字符单元的数量相同，相邻的第一语义片段存在重复的字符单元，所述字符单元包括：词和/或标点；

按照从前到后的顺序，通过递推方式确定最优的第一语义片段对应的目标标点；最优的第一语义片段对应的语言模型得分最优，通过N元文法语言模型确定所述第一语义片段对应的语言模型得分；

依据所述各最优的第一语义片段对应的目标标点，得到所述待处理文本对应的第一标点添加结果。

7.根据权利要求6所述的方法，其特征在于，所述按照从前到后的顺序，通过递推方式确定最优的第一语义片段对应的目标标点，包括：

利用N元文法语言模型，确定当前第一语义片段对应的语言模型得分；

依据所述当前第一语义片段对应的语言模型得分，从多种当前的第一语义片段中选择最优的当前第一语义片段；

将所述最优的当前第一语义片段包含的标点作为所述最优的当前第一语义片段对应的目标标点；

依据最优的当前第一语义片段对应的目标标点，得到下一第一语义片段。

8.一种标点添加装置，其特征在于，包括：

文本获取模块，用于获取待处理文本；

第一标点添加模块，用于为所述待处理文本添加标点，以得到所述待处理文本对应的第一标点添加结果；以及

第二标点添加模块，用于在所述第一标点添加结果包括字数超过字数阈值且不包含预置标点的目标文本时，通过神经网络模型为所述目标文本添加标点，以得到所述目标文本对应的第二标点添加结果。