[发明专利]一种基于文本自身产生词库的分词方法及系统

摘要

本发明涉及一种基于文本自身产生词库的分词方法及系统，属于文本分析技术领域。本发明针对在没有明确的已知的字典前提下，通过待处理文本本身的文字关联程度，提取出词典，并依次筛选出待处理文本中可能的词语信息。同时，本发明提高了对未知文本信息的分词速度，满足了对实际未知文本无已知字典情况下的分词应用的实际需要。

主权项

1.一种基于文本自身产生词库的分词方法，其特征在于：第一步：接收待处理的文本信息；第二步：将读取到的文本文件进行处理，转化为单一的字符信息，并给每一个字符建立一张表，用于存放相关联的字符和整个文本中的出现次数与条件概率值；第三步：根据编写的文本自建词库的程序，对接收到的文本信息进行处理，产生一个两字词的词库，并统计相对应的词在全文中出现的词频；第四步：再次读取待处理文本信息，设置词频关联阈值，与之前建立的词库进行对比，结合阈值Q1，判断前后字词之间的相互关联程度，并加以处理成长的词语；第五步、第二次词库比对；第一次比对之后，建立新的多字符词组，再次读取文本，使用新的多字符词组库进行比对，计算出关联概率：并放入表中；通过与新阈值Q₂的比较，得到最长长度的在阈值范围内的词。