[发明专利]基于线性模型的汉语词法分析方法

权利要求书

1.一种提供的基于线性模型的汉语词法分析方法，包括如下步骤：

1)输入汉语语句，设定分析窗口长度，

2)对语句进行逐字分析，对语句中的每一个字，将该字时间窗口内的字或字元组输入感知机分类器，得出当前字标注为某一分词标注和词性标注的感知机模型得分；同时，将该字时间窗口内的字或字元组输入线性词法分析模型，得出当前字标注为某一分词标注和词性标注的线性词法分析模型得分；

3)感知机模型得分和线性词法分析模型得分加权求和得出综合分析得分，将综合分析得分最高的分词标注和词性标注做为当前字的分词标注和词性标注；当所有字的分词标注和词性标注均标注完成时，所述汉语语句的词法分析完毕。

2.根据权利要求1所述的汉语词法分析方法，其特征在于，所述步骤2)中，所述线性词法分析模型为词语序列语言模型、词性标记序列语言模型以及词-词性对集合的共现分数模型中的任意一个或多个加权组合。

3.根据权利要求2所述的汉语词法分析方法，其特征在于，所述步骤2)中，所述当前字的词语序列语言模型得分是在当前字的前n-1个字的分词标注结果为已知的前提下，当前字在语料库中出现某一分词标注的概率，所述n为所述分析窗口长度。

4.根据权利要求2所述的汉语词法分析方法，其特征在于，所述步骤2)中，所述当前字的词性标记序列语言模型得分是在当前字的前n-1个字的词性标注结果为已知的前提下，当前字在语料库中出现某一词性标注的概率，所述n为所述分析窗口长度。

5.根据权利要求2所述的汉语词法分析方法，其特征在于，所述步骤2)中，所述词-词性对集合的共现分数模型得分是以极大似然估计法在训练语料中统计得到的某一词与某一词性共现的概率。

6.根据权利要求1所述的汉语词法分析方法，其特征在于，所述步骤3)中，所述加权求和所需的加权系数通过最小错误率训练方法得到。