[发明专利]一种自适应的分词方法

摘要

一种分词系统的构建和应用的方法，属于自然语言处理的计算机技术应用领域。本发明基于自然语言的句子的内在特性，提出了结合词典和统计模型的分词方法，处理中把词典信息作为一个可由外部适配调整、可在统计模型模型内部产生影响及生成特征的资源，并全面考虑模型学习时原始训练语料对词典的影响，而算法设置了高效的特征的生成和组合方式，可充分降低计算的复杂度，并最终有效生成高准确率的分词模型；而应用时可方便的在词典中有针对的加入相关的词，有效提高算法的在不同场景下的适用性。本发明有效实现了计算机自动对自然语言的语句进行分词处理，并方便在不同领域下进行扩展应用，而分词后的结果可供给计算机做后续的分析。

主权项

一种自适应的分词方法，其特征是：它包括以下步骤：方法由训练模型和应用模型两个阶段组成，其中训练阶段包括：训练步骤一：获取模型训练阶段的依赖资源：获取已分好词（各句子中的字符有确定的切分成独立词的标准答案）的NS个句子的集合S={S(i)}为训练语料，各句子记为S(i)，其中1≤i≤NS，要求NS≥50000；人工给定一个包含50个词以上的词典D，并人为指定词典扩充系数ε_1, ε₂；训练步骤二：从训练语料中提取语料高相关的词语，对词典进行扩充；训练步骤三：对训练语料S的所有字符进行特征化表示，得到每个字符的抽取后的特征表示结果，记s(i,j_i)为句子S(i)的第j_i个字，其中1 ≤j_i≤句子S(i)的总字符数，则s(i,j_i)对应的特征化结果为：；训练步骤四：对训练语料S的各个字符的类别进行数字化表示，对应得到各句子S(i)的每个序位上的字符s(i,j_i)对应的类别表示结果g(i,j_i)；训练步骤五：基于条件随机场模型，将训练语料中所有字符的特征化结果F(s(i,j_i))和对应的类别表示结果g(i,j_i)作为输入数据，进行训练，得到训练后的分词模型M。