[发明专利]一种自适应的分词方法

权利要求书

1.一种自适应的分词方法，其特征是：它包括以下步骤：

方法由训练模型和应用模型两个阶段组成，其中训练阶段包括：

训练步骤一：获取模型训练阶段的依赖资源：获取已分好词（各句子中的字符有确定的切分成独立词的标准答案）的NS个句子的集合S={S(i)}为训练语料，各句子记为S(i)，其中1≤i≤NS，要求NS≥50000；人工给定一个包含50个词以上的词典D，并人为指定词典扩充系数ε_1,ε₂；

训练步骤二：从训练语料中提取语料高相关的词语，对词典进行扩充；

训练步骤三：对训练语料S的所有字符进行特征化表示，得到每个字符的抽取后的特征表示结果，记s(i,j_i)为句子S(i)的第j_i个字，其中1≤j_i≤句子S(i)的总字符数，则s(i,j_i)对应的特征化结果为：

；

训练步骤四：对训练语料S的各个字符的类别进行数字化表示，对应得到各句子S(i)的每个序位上的字符s(i,j_i)对应的类别表示结果g(i,j_i)

；

训练步骤五：基于条件随机场模型，将训练语料中所有字符的特征化结果F(s(i,j_i))和对应的类别表示结果g(i,j_i)作为输入数据，进行训练，得到训练后的分词模型M。

2.根据权利要求1所述的方法，其特征在于所述训练阶段的步骤二具体包括：

训练步骤二一：统计S中所有词的总数目，记为NW；进一步统计S中所含有的不同词的总数目，记为NWU；

训练步骤二二：统计S中所有不同的词各自出现的频次，并将词按对应词频由大到小的顺序进行排列，记排序后结果为WD={wd(1),wd(2),…,wd(NWU)}，对应的频次记为NWD={nwd(1),nwd(2),…,nwd(NWU)}；

训练步骤二三：在WD中找出依序排列的第st个序位(1<st<NWU)，使得NWD中前st个序位对应的频次满足：

训练步骤二四：在WD中找出依序排列的第ed个序位(1<ed<NWU)，使得NWD中前ed个序位对应的频次满足：

训练步骤二五：在WD中找出从第st个序位开始，到第ed个序位的为止的依序排列的所有的词的集合，记为WDA，即WDA={wd(st),wd(st+1),…,wd(ed)},1<st<ed<NWU

训练步骤二六：将WDA中所有词加入原来的词典中D，构成新的词典Dt，此字典中长度最长的词的长度记为NLDt。