[发明专利]使用子字符信息进行中文标点恢复的系统和方法

说明书

一种用于预测文本标点的系统和方法。文本是具有字符的语标语言。大多数字符包含表示字符含义的子字符。文本缺少标点。方法包括：接收文本；提供基于子字符输入编辑器IME的子字符编码，使得语标语言中的每个字符对应于特定的子字符代码；使用子字符编码对文本进行编码，以获得子字符代码；从子字符代码中生成句段；通过句段向量表示句段；以及将句段向量置于神经网络中，以获得文本的标点。方法可以使用计算装置实现。

交叉引用

在本公开的描述中引用和讨论了一些参考文献，其可能包括专利、专利申请和各种出版物。提供此类参考文献的引用和/或讨论仅用于阐明本公开的描述，并不承认任何此类参考文献是本文所述公开的“现有技术”。在“参考文献”部分中引用的或在本说明书中讨论的所有参考文献通过引用整体并入本文，并且与每篇参考文献通过引用单独并入的程度相同。

技术领域

本公开涉及标点恢复领域，具体地，涉及使用汉字的子字符信息对中文文本进行标点恢复的系统和方法。

背景技术

在此提供的背景描述是为了概括地呈现本公开的上下文。在本背景部分描述的范围内，发明人的工作，以及在申请时可能不符合现有技术的描述方面，既不明确也不隐含地承认为针对本公开的现有技术。

在当前的社交媒体和移动时代，没有标点的文本是常见的。例如，音频语音识别(Audio Speech Recognition，ASR)是计算装置用来识别语音的常用技术。语音可以通过移动应用程序进行交流，也可以作为电话信息留下。ASR可以将语音转换为文本。但是，翻译的文本通常没有标点。在另一个例子中，包括短信和微博在内的社交媒体包含非正式文本，而这些文本经常缺少标点。没有标点的文本可读性差，导致用户体验不佳。此外，下游应用程序的性能也会受到影响。

此外，在电子商务场景中，用户生成内容中的文本通常是非正式的。此类文本包含大量与域名相关的网络趋势词、行话和术语，以及表情符号等。由于这些开放词汇表问题带来的困难，恢复非正式书面文本的标点更具挑战性。

大量研究利用语言模型、隐马尔可夫链、条件随机场(Conditional RandomField，CRF)和具有词汇表和声学特征以及单词级或字符级表示的神经网络来预测标点。这些具有单词级或字符级模型的方法在处理词汇表外(Out-of-vocabulary，OOV)问题方面存在不足，因为它们无法提供词汇表外的字符或词的词表示。

因此，对于文本的标点预测，稀有词或OOV词的出现可能导致预测不准确，本领域存在解决上述不足和不足的需要。

发明内容

在某些方面，本公开涉及一种用于预测文本标点的方法。所述文本是具有多个字符的语标语言，所述多个字符中的至少一个字符包括代表所述至少一个字符的含义的多个子字符，所述文本缺少标点。在某些实施例中，所述文本的长度对应于一个小段落或几个句子。在某些实施例中，文本包括多于五个的单词。在某些实施例中，文本包括超过10个单词。在某些实施例中，文本包括超过15个单词。在某些实施例中，文本包括少于500个单词。在某些实施例中，文本包括少于100个单词。在某些实施例中，所述方法包括：接收所述文本；提供基于子字符编辑器(或输入法，或输入法编辑器，缩写为IME)的子字符编码，使得所述语标语言中的每个字符对应于特定的子字符代码；使用所述子字符编码对所述文本进行编码，以获得子字符代码；从所述子字符代码中生成句段；通过句段向量表示所述句段；以及将所述句段向量置于神经网络中，以获得所述文本的所述标点。

在某些实施例中，所述语言是中文，所述字符是汉字，所述子字符输入编辑器IME是五笔或笔画。

在某些实施例中，使用字节对编码生成所述句段。