[发明专利]一种用于HMM的分词训练语料标注方法

说明书

技术领域

本发明公开一种语料标注方法,属于大数据语言处理领域，具体地说是一种用于HMM的分词训练语料标注方法。

背景技术

全球企业都对于大数据充满了积极的热情，以后的大数据将变得无处不在。但是从大数据的应用现状来看，无论是是技术、产品还是应用还有待提升。对于中国的大数据而言，中文的自然语言处理是所有技术的基础。需要对识别出文本中的人名、地名等专有名称和有意义的时间、日期等数量短语加以归类命名，利用实体识别技术进行信息抽取、信息检索、机器翻译、问答系统等多种自然语言处理才能完成。然而对于特定的行业，用语语料千差万别，现有的实体识别方法不能快速自动地进行语料标注，不利于特定的行业语料标注的进行，不利于提高特定行业实体词识别的效率。本发明提供一种用于HMM的分词训练语料标注方法，用于HMM模型训练的方法，收集各种来源的实体词词库，利用trie树将已有实体词词库的内容构建成字典树，在待识别实体词的样本文档中搜索，并按HMM构建模型时的需求进行标注，达到提高特定行业HMM实体词识别率的目的。

HMM，隐马尔科夫模型，是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。

trie树是一种树形结构，是一种哈希树的变种。典型应用是用于统计，排序和保存大量的字符串，但不仅限于字符串。

发明内容

本发明针对现有的实体识别方法不能快速自动地进行语料标注，不利于特定的行业语料标注的进行，不利于提高特定行业实体词识别的效率的问题，提供一种用于HMM的分词训练语料标注方法，对特定行业可以进行语料批量自动标注，达到提高特定行业HMM实体词识别率的目的。

本发明提出的具体方案是：

一种用于HMM的分词训练语料标注方法：

利用trie将已有实体词词典的内容构建成字典树：构建trie字典树函数，标注字典文件全路径及文件名，将字典文件中每个词加入Set，利用开源org.ahocorasick.trie将输入的词加入trie树，从字符串中识别出trie树包含的词函数，读取特定文档，判断是否有文本行，若有则取出文本行与字典树匹配，匹配成功的词加入tagList中，遍历tagList，在待识别实体词的特定文档中识别出的词的一部分，按HMM构建模型时的需求将实体词按词首和词中进行标注状态的语料标注。

所述取出文本行与字典树匹配的过程为：从根结点开始一次搜索；取得要查找包含词的第一个字母，并根据该字母选择对应的子树并转到该子树继续进行检索；在相应的子树上，取得要查找包含词的第二个字母,并进一步选择对应的子树进行检索；迭代过程；在某个结点处，包含词的所有字母已被取出，则读取附在该结点上的词信息，完成匹配查找。

所述实体词的标注状态包括人名词首，人名词中，地名词首，地名词中，组织机构名词首，组织机构名词中，其他状态。

利用trie将已有实体词词典的内容构建成字典树的伪代码为：

buildTrie(StringdictionaryPath)

BEGIN

TrieahoCorasickNaive=newTrie()；

path=dictionaryPath；//

Set<String>dictionary=newTreeSet<String>()；

BufferedReaderbr=newBufferedReader(newFileReader(path))；

Stringline；

while((line=br.readLine())!=null)

{

dictionary.add(line)；//

}

br.close()；

for(Stringword:dictionary)

{

ahoCorasickNaive.addKeyword(word);//

}

END

exactMatch(Stringstr)

BEGIN

Collection<Emit>e=ahoCorasickNaive.parseText(str)；//

List<Emit>res=newArrayList<Emit>()；

for(Emita:e){

res.add(a);//

}

returnres;

}