[发明专利]文本数据处理方法和装置

权利要求书

1.一种文本数据处理方法，包括以下步骤：

读取待压缩文本数据的数据流；

对于所述数据流中已指定压缩方法的语种数据流，以指定压缩方法或指定压缩工具进行压缩；对于所述数据流中未指定压缩方法的语种数据流，以默认压缩方法或默认压缩工具进行压缩；

将经过压缩的各数据流按照其在所述待压缩文本数据的数据流中的先后顺序进行合并。

2.根据权利要求1所述的方法，其特征在于，还包括以下步骤：

根据指定压缩方法、该压缩方法所处理的语种数据流、和相应压缩工具在本地或网络上的位置，生成配置文件。

3.根据权利要求1或2所述的方法，其特征在于，还包括以下步骤：

根据已指定压缩方法的语种数据流、压缩该语种数据流的指定压缩方法、和相应压缩工具在本地或网络上的位置，生成配置文件。

4.根据权利要求2或3所述的方法，其特征在于，对于任一种语种数据流，如果在配置文件中的指定压缩工具的位置无法找到指定压缩工具或者指定压缩方法不符合规范，则利用默认压缩方法或默认压缩工具对该语种数据流进行压缩。

5.根据前述权利要求中任一项所述的方法，其特征在于，根据不同语种的特点将所述数据流中的字符分成拉丁字符、扩展字符、数字字符和标点字符，其中，拉丁字符属于能够通过空格和标点将词分开的语种字符，扩展字符属于不能通过空格和标点将词分开的语种字符。

6.根据权利要求5所述的方法，其特征在于，对于拉丁字符、扩展字符、数字字符和标点字符中的至少两种，采用相同的默认压缩方法或者分别采用不同的默认压缩方法。

7.根据权利要求5所述的方法，其特征在于，对于拉丁字符和扩展字符，默认压缩方法包括以下步骤：

对于拉丁字符，根据空格和标点将拉丁字符分成多个词，并统计各个词的出现频率，形成初步的字典；对于扩展字符，直接将每个字符提取出来，并统计每个字符的出现频率，形成所述初步的字典；

对所述初步的字典中的词或字符按照出现频率进行排序，删除出现频率小于预定值的词或字符；对于所述初步的字典中剩余的词或字符分配编码，并按照字典编码法利用这些编码对语种为拉丁字符或扩展字符的数据流进行压缩。

8.根据权利要求5、6或7所述的方法，其特征在于，

对于属于拉丁字符的英语字符，指定PPM方法；和/或

对于属于扩展字符的中文字符，指定LZSSCN压缩方法；和/或

对于属于扩展字符的日语，指定HORI压缩方法。

9.一种文本数据处理装置，包括：

输入单元，其用于打开文本数据文件，建立该文件的文本数据的数据流；

压缩单元，其用于读取通过输入单元输入的数据流，对于所述数据流中已指定压缩方法的语种数据流，以指定压缩方法或指定压缩工具进行压缩，对于所述数据流中未指定压缩方法的语种数据流，以默认压缩方法或默认压缩工具进行压缩；

合并单元，其用于将经过压缩单元压缩的各数据流按照其在通过输入单元输入的数据流中的先后顺序进行合并；和

配置单元，其用于根据为数据流语种指定的压缩方法和相应压缩工具在本地或网络上的位置生成配置文件，使得压缩单元根据配置文件以指定压缩方法或指定压缩工具对已指定压缩方法的语种的数据流进行压缩。

10.根据权利要求9所述的装置，其特征在于，还包括用户界面，以供用户输入为数据流语种指定的压缩方法和相应压缩工具在本地或网络上的位置。