[发明专利]使用子字符信息进行中文标点恢复的系统和方法

权利要求书

1.一种用于预测文本的标点的方法，包括：

接收所述文本，其中，所述文本使用具有多个字符的语标语言，所述多个字符中的至少一个字符包括代表所述至少一个字符的含义的多个子字符，所述文本缺少标点；

提供基于子字符输入编辑器IME的子字符编码，使得所述语标语言中的每个字符对应于特定的子字符代码；

使用所述子字符编码对所述文本进行编码，以获得子字符代码；

从所述子字符代码中生成句段；

通过句段向量表示所述句段；以及

将所述句段向量置于神经网络中，以获得所述文本的所述标点。

2.根据权利要求1所述的方法，其中，所述语言是中文，所述字符是汉字，所述子字符输入编辑器IME是五笔或笔画。

3.根据权利要求1所述的方法，其中，使用字节对编码生成所述句段。

4.根据权利要求1所述的方法，其中，使用word2vec通过向量表示所述句段，所述word2vec具有跳字或连续词袋的模型架构。

5.根据权利要求4所述的方法，其中，所述word2vec通过以下方式训练：

提供多个训练文本；

使用所述子字符编码对所述训练文本进行编码，以获得训练子字符代码；

基于预定义句段数，从所述子字符代码中生成句段词汇表；以及

基于所述训练文本的上下文，通过句段向量表示所述句段词汇表。

6.根据权利要求5所述的方法，其中，所述语言是中文，所述字符的数量在6000至7000的范围内，所述预定义句段数在20000至100000的范围内。

7.根据权利要求1所述的方法，其中，所述神经网络通过以下方式进行预训练：

提供多个带有标点的训练文本；

使用所述子字符编码对所述训练文本进行编码，以获得训练子字符代码；

从所述子字符代码中生成训练句段；

通过句段向量表示所述训练句段；

使用所述标点标记所述训练文本，以获得标点标记；

通过所述神经网络使用所述句段向量生成预测标点；以及

将所述预测标点与所述标点标记进行比较以训练所述神经网络。

8.根据权利要求1所述的方法，其中，所述神经网络是双向长短期记忆BiLSTM。

9.根据权利要求1所述的方法，还包括：

从电子商务网站中提取所述文本；

将所述标点插入所述文本，以获得带有标点的文本；以及

在所述电子商务网站上用所述带有标点的文本替换所述文本。

10.根据权利要求1所述的方法，还包括：

从视频中提取音频；

使用音频语音识别ASR处理所述音频以获得所述文本；

将所述标点插入所述文本，以获得带有标点的文本；以及

将所述带有标点的文本添加到所述视频中。

11.一种用于预测文本的标点的系统，其中，所述系统包括计算装置，所述计算装置包括处理器和存储有计算机可执行代码的存储装置，所述计算机可执行代码在所述处理器处执行时被配置为：

接收所述文本，其中，所述文本使用具有多个字符的语标语言，所述多个字符中的至少一个字符包括代表所述至少一个字符的含义的多个子字符，所述文本缺少标点；

提供基于子字符输入编辑器IME的子字符编码，使得所述语标语言中的每个字符对应于特定的子字符代码；

使用所述子字符编码对所述文本进行编码，以获得子字符代码；

从所述子字符代码中生成句段；

通过句段向量表示所述句段；以及

将所述句段向量置于神经网络中，以获得所述文本的所述标点。