[发明专利]用于对文本进行处理的方法和系统

权利要求书

1.一种对文本进行处理的方法，包括：

确定一文本中的至少部分字符；

利用所述至少部分字符作为分隔符，将所述文本划分为多个文本片段；以及

对所述多个文本片段分别进行译码。

2.根据权利要求1所述的方法，其中，所述文本至少包括双字节编码字符和多字节编码字符其中之一；所述至少部分字符为至少部分标点符号，所述确定一文本中的至少部分字符进一步配置为，根据标点符号的编码确定所述文本中的至少部分标点符号。

3.根据权利要求1或2所述的方法，其中对所述多个文本片段分别进行译码包括：

根据第一译码方法对所述多个文本片段分别进行译码，以便得到所述文本的第一译码结果；以及

根据第二译码方法对所述多个文本片段分别进行译码，以便得到所述文本的第二译码结果；

所述方法进一步包括：

将所述文本的第一译码结果，与所述文本的第二译码结果进行比较，以便确定译码差别。

4.根据权利要求3所述的方法，其中，

分别从每个文本片段的头部开始对所述多个文本片段进行译码，以便得到所述文本的第一译码结果；

分别从每个文本片段的尾部开始对所述多个文本片段进行译码，以便得到所述文本的第二译码结果。

5.根据权利要求1或2所述的方法，其中，对所述多个文本片段分别进行译码，以便得到所述文本的第一译码结果；

所述方法进一步包括：

确定所述文本中的另一部分字符；

利用所述另一部分字符作为分隔符，将所述文本划分为第二多个文本片段；

对所述第二多个文本片段分别进行译码，以便得到所述文本的第二译码结果；以及

将所述文本的第一译码结果，与所述文本的第二译码结果进行比较，以便确定译码差别。

6.根据权利要求2所述的方法，其中对所述多个文本片段分别进行译码进一步包括：

从一文本片段的头部开始向后进行译码，作为所述文本片段的第一译码结果，并且从所述文本片段的尾部开始向前进行译码，作为所述文本片段的第二译码结果。

7.根据权利要求2所述的方法，其中所述文本包括具有双字节编码的文本片段，所述方法进一步包括：

确定所述双字节编码的文本片段包括的字节数是否为奇数；

如果所述文本片段包括的字节数是奇数，从所述文本片段的头部开始向后进行译码，作为所述文本片段的第一译码结果，并且从所述文本片段的尾部开始向前进行译码，作为所述文本片段的第二译码结果。

8.根据权利要求6或7所述的方法，其中进一步包括：

从所述第一译码结果中确定所述文本片段的前部成分；

从所述第二译码结果中确定所述文本片段的后部成分；以及

将所述前部成分和所述后部成分组合为所述文本片段的最终译码结果。

9.根据权利要求8所述的方法，其中进一步包括：

确定一文本片段是否包括ASCII编码字符；

如果所述文本片段中包括一ASCII编码字符，则利用所述ASCII编码字符作为分隔符将所述文本片段进一步划分为两个子文本片段，并且对所述两个子文本片段分别进行译码。

10.根据权利要求2、6和7中任一项所述的方法，其中至少部分标点符号包括“，”“。”“；”“：”“！”“？”或“、”；所述文本至少包括中文文本、日文文本和韩国语文本中的一种。

11.一种对文本进行处理的系统，包括：

字符确定模块，用于确定一文本中的至少部分字符；

文本片段划分模块，用于利用所述至少部分字符作为分隔符，将所述文本划分为多个文本片段；以及

译码模块，用于对所述多个文本片段分别进行译码。

12.根据权利要求11所述的系统，其中，所述文本至少包括双字节编码字符和多字节编码字符其中之一；所述至少部分字符为至少部分标点符号，所述字符确定模块进一步配置为，根据标点符号的编码确定所述文本中的至少部分标点符号。