[发明专利]基于混合隐马尔可夫模型的原子事件标签的提取方法

说明书

本发明涉及原子事件标签的提取方法，尤其涉及基于混合隐马尔可夫模型的原子事件标签的提取方法，包括以下步骤：预处理：获取训练语料库中的原子事件标签；对每个单词添加词性标签；对每个单词添加相应位置标签；将原子事件标签、词性标签和相应位置标签映射到一个隐藏状态序列中；将词性标签和相应位置标签映射到一个观测状态序列中；模型训练：建立二阶HMM模型；提取阶段：根据最优观测状态序列提取原子事件标签。通过使用本发明，可以实现以下效果：对词性和单词的相应位置进行考虑，提取准确度高；考虑到隐藏状态序列中的前后隐藏状态之间的关系，提高了提取的准确度；在原子事件标签提取之后进行检测和纠错，提高了提取的准确度。

技术领域

本发明涉及原子事件标签的提取方法，尤其涉及基于混合隐马尔可夫模型的原子事件标签的提取方法。

背景技术

事件标签提取是信息提取的子域，研究如何在结构上将自然语言文本表达为事件，该事件通常具有结构“[谁]对[谁][时间][地点]做了[什么]”。随着互联网的发展，事件标签提取在自然语言处理(NLP)中成为了研究热点。目前为止，事件标签提取在许多领域中得到了广泛的应用，例如文本蕴涵识别，社会网络分析，信息检索，股市预测和社区问题解答。

传统的事件标签提取方法通过机器学习方法或事件模板从文本中挖掘事件，只能解决某些领域，类型或主题中的事件提取问题。现有的事件标签提取方案，还存在以下缺点：由于只考虑到词性而没有考虑到单词的相应位置，提取准确度低；由于没有考虑到前后隐藏状态之间的关系，这会影响状态转移概率矩阵和词性标签的观察分布概率矩阵的计算，最后使得提取准确度低；没有纠错手段。

发明内容

本发明提出基于混合隐马尔可夫模型的原子事件标签的提取方法，用于解决提取准确度不高、提取错误的问题。

基于混合隐马尔可夫模型的原子事件标签的提取方法，包括以下步骤：

预处理：获取训练语料库中的原子事件标签；将语料库中的所有语句分割为单词，对每个单词添加词性标签；对每个单词在每个语句中的相应位置添加相应位置标签；对于训练语料库，将原子事件标签、词性标签和相应位置标签映射到一个隐藏状态序列中；对于测试语料库，将词性标签和相应位置标签映射到一个观测状态序列中；

模型训练：根据隐藏状态序列中的前后隐藏状态以及观测状态序列，建立二阶HMM模型；

提取阶段：基于二阶HMM模型，利用Viterbi算法计算得到测试语料库中的最优观测状态序列，根据最优观测状态序列提取词性标签、相应位置标签所对应的原子事件标签。

优选的，所述根据隐藏状态序列中的前后隐藏状态以及观测状态序列，建立二阶HMM模型包括以下步骤：在一个句子中，定义隐藏状态序列S＝{s₁,s₂,…,s_i,…s_T}，(1≤i≤T)，其中，s_i为隐藏状态，T是隐藏状态序列的长度；定义词性标签序列PO＝{po₁,po₂,…,po_i,…po_Q}，(1≤i≤Q)，其中，po_i是词性标签，Q是词性标签序列的长度；定义相应位置标签序列RO＝{ro₁,ro₂,…,ro_i,…ro_L}，(1≤i≤L)，其中ro_i是相应位置标签，L是相应位置标签序列的长度；计算初始状态分布概率π_i并转换为初始状态分布概率矩阵π：

其中，c(s_i)为从隐藏状态s_i开始的所有隐藏序列的总和，∑_j∈[0,N]c(s_j)为从任意隐藏状态开始的隐藏序列的总和；计算状态转移概率a_ijk并转换为状态转移概率矩阵a：