[发明专利]复合词拆分

权利要求书

1.一种系统，包括：

一台或多台计算机；以及

耦合到所述一台或多台计算机的计算机可读介质，在所述计算机可读介质上存储有指令，当所述指令由所述一台或多台计算机执行时，所述指令使得所述一台或多台计算机执行下述操作，所述操作包括：

获得包括字符的序列的语言符号；

识别作为所述语言符号的组分的两个或更多候选子词以及将所述子词变换成所述语言符号所需要的一个或多个形态学操作，其中，所述形态学操作中的至少一个涉及非词典词的使用；以及

确定与每个子词相关联的成本和与每个形态学操作相关联的成本。

2.根据权利要求1所述的系统，其中，所述操作还包括：

将与每个子词相关联的成本和与每个形态学操作相关联的成本进行组合。

3.根据权利要求2所述的系统，其中，所述操作还包括：

基于组合的成本来确定将所述语言符号分解成所述候选子词。

4.根据权利要求3所述的系统，其中，确定成本还包括：

从多个记分函数当中选择将成本分配给所述子词的定制记分函数。

5.根据权利要求3所述的系统，其中，确定分解所述语言符号还包括：

当组合的成本包括与作为所述语言符号的组分的候选子词的所有被识别的组合相关联的最低组合成本时，确定将所述语言符号分解成所述候选子词。

6.根据权利要求1所述的系统，其中，所述操作还包括：

确定所述子词之间的拆分点的数量；以及

确定与所述拆分点的数量相关联的成本。

7.根据权利要求1所述的系统，其中，所述至少一个形态学操作涉及：

在所述候选子词中的两个之间插入所述非词典词；

从所述语言符号中删除所述非词典词；

将所述非词典词前置，以作为所述候选子词中的一个或多个的前缀；

将所述非词典词后置，以作为所述候选子词中的一个或多个的后缀；或者

插入所述非词典词，以作为所述候选子词中的一个或多个的中缀。

8.根据权利要求1所述的系统，其中，所述非词典词包括连接词素。

9.根据权利要求1所述的系统，其中，所述非词典词包括所述字符的在所述子词的语言中没有规定含义的子序列。

10.一种计算机实施的方法，包括：

获得包括字符的序列的语言符号；

识别作为所述语言符号的组分的两个或更多候选子词以及将所述子词变换成所述语言符号所需要的一个或多个形态学操作，其中，所述形态学操作中的至少一个涉及非词典词的使用；以及

通过一台或多台计算机确定与每个子词相关联的成本和与每个形态学操作相关联的成本。

11.一种编码有计算机程序的计算机存储介质，所述程序包括当被数据处理设备执行时使得所述数据处理设备执行下述操作的指令，所述操作包括：

获得包括字符的序列的语言符号；

识别作为所述语言符号的组分的两个或更多候选子词以及将所述子词变换成所述语言符号所需要的一个或多个形态学操作，其中，所述形态学操作中的至少一个涉及非词典词的使用；以及

确定与每个子词相关联的成本和与每个形态学操作相关联的成本。

12.一种系统，包括：

一台或多台计算机；以及

耦合到所述一台或多台计算机的计算机可读介质，在所述计算机可读介质上存储有指令，当所述指令由所述一台或多台计算机执行时，所述指令使得所述一台或多台计算机执行下述操作，所述操作包括：

识别出现在第一词汇中的词以及每个词各自出现在所述第一词汇中的频率；

使用出现在所述第一词汇中的词作为组分来分解出现在第二词汇中的词；以及

输出用作组分来分解出现在所述第二词汇中的词的出现在所述第一词汇中的词，以作为通用复合词拆分器词汇。

13.根据权利要求12所述的系统，其中，所述第一词汇包括新闻语言模型词汇。

14.根据权利要求12所述的系统，其中，所述第二词汇包括网络语言模型词汇。