[发明专利]自然语言词法分析方法、装置及分析器训练方法

权利要求书

1.一种自然语言词法分析方法，包括：

将输入的自然语言语句切分为由可能为第一类型的词和/或可能作为第二类型的词的组成部分的字构成的多个序列，其中第一类型的词是除第二类型的词之外的词；

利用统计概率模型计算所述多个序列中每一个序列的分数，其中，所述统计概率模型包括：第一类型的词在上下文中的统计概率；以及作为第二类型的词的组成部分的字在上下文中的统计概率；

根据所述分数确定候选序列；以及

依据该候选序列对所述自然语言语句进行标注，包括：对该候选序列中可能存在的第一类型的词，标注从所述统计概率模型获取的词信息，对除所述可能存在的第一类型的词之外的可能存在的字，标注从所述统计概率模型获取的字信息。

2.如权利要求1所述的自然语言词法分析方法，还包括：根据所标注的字信息将相应的字组合为词，并用基于所述字信息而得到的词信息标注组合而成的词。

3.如权利要求1或2所述的自然语言词法分析方法，其中，所述第一类型的词和第二类型的词是根据所述自然语言语句的领域划分的。

4.如权利要求1或2所述的自然语言词法分析方法，其中第二类型的词包括至少下述之一：低频词、专有名词、数词和外来语。

5.如权利要求4所述的自然语言词法分析方法，其中，专有名词包括至少下述之一：人名、地名、机构名、产品名以及术语。

6.如权利要求1或2所述的自然语言词法分析方法，其中第一类型的词的词信息包括词性信息和/或该词在语句中的位置信息，作为第二类型的词的组成部分的字的字信息包括该字在第二类型的词中的位置信息以及相应的第二类型的词的词信息，所述第二类型的词的词信息包括词性信息和/或该词在语句中的位置信息。

7.一种自然语言词法分析装置，包括：

切分单元，其被配置为将输入的自然语言语句切分为由可能为第一类型的词和/或可能作为第二类型的词的组成部分的字构成的多个序列，其中第一类型的词是除第二类型的词之外的词；

统计概率模型存储单元，所述统计概率模型包括：第一类型的词在上下文中的统计概率；以及作为第二类型的词的组成部分的字在上下文中的统计概率；

分数计算单元，其被配置为利用所述统计概率模型计算所述多个序列中每一个序列的分数；

候选序列确定单元，其被配置为根据所述分数确定候选序列；以及

标注单元，其被配置为依据该候选序列对所述自然语言语句进行标注，包括：对该候选序列中可能存在的第一类型的词，标注从所述统计概率模型获取的词信息，对除所述可能存在的第一类型的词之外的可能存在的字，标注从所述统计概率模型获取的字信息。

8.如权利要求7所述的自然语言词法分析装置，其中第二类型的词包括至少下述之一：低频词、专有名词、数词和外来语。

9.一种自然语言词法分析器训练方法，包括：

标注自然语言序列作为训练语料，其中，对第一类型的词仅用词信息标注，对第二类型的词，用字信息标注构成所述第二类型的词的字，其中第一类型的词是除所述第二类型的词之外的词；

用所述训练语料训练自然语言词法分析器。

10.如权利要求9所述的自然语言词法分析器训练方法，其中第二类型的词包括至少下述之一：低频词、专有名词、数词和外来语。