[发明专利]基于混合隐马尔可夫模型的原子事件标签的提取方法

权利要求书

1.基于混合隐马尔可夫模型的原子事件标签的提取方法，其特征在于，包括以下步骤：

预处理：获取训练语料库中的原子事件标签；将语料库中的所有语句分割为单词，对每个单词添加词性标签；对每个单词在每个语句中的相应位置添加相应位置标签；对于训练语料库，将原子事件标签、词性标签和相应位置标签映射到一个隐藏状态序列中；对于测试语料库，将词性标签和相应位置标签映射到一个观测状态序列中；

模型训练：根据隐藏状态序列中的前后隐藏状态以及观测状态序列，建立二阶HMM模型；

提取阶段：基于二阶HMM模型，利用Viterbi算法计算得到测试语料库中的最优观测状态序列，根据最优观测状态序列提取词性标签、相应位置标签所对应的原子事件标签。

2.根据权利要求1所述的基于混合隐马尔可夫模型的原子事件标签的提取方法，其特征在于，所述根据隐藏状态序列中的前后隐藏状态以及观测状态序列，建立二阶HMM模型包括以下步骤：

在一个句子中，定义隐藏状态序列S＝{s₁,s₂,…,s_i,…s_T}，(1≤i≤T)，其中，s_i为隐藏状态，T是隐藏状态序列的长度；

定义词性标签序列PO＝{po₁,po₂,…,po_i,…po_Q}，(1≤i≤Q)，其中，po_i是词性标签，Q是词性标签序列的长度；

定义相应位置标签序列RO＝{ro₁,ro₂,…,ro_i,…ro_L}，(1≤i≤L)，其中ro_i是相应位置标签，L是相应位置标签序列的长度；

计算初始状态分布概率π_i并转换为初始状态分布概率矩阵π：

其中，c(s_i)为从隐藏状态s_i开始的所有隐藏序列的总和，∑_j∈[0,N]c(s_j)为从任意隐藏状态开始的隐藏序列的总和；

计算状态转移概率a_ijk并转换为状态转移概率矩阵a：

其中，c(s_i,s_j,s_k)为t-2时刻隐藏状态s_i、t-1时刻隐藏状态s_j和t时刻目的隐藏状态s_k的状态转移次数之和，∑_l∈[1,N]c(s_i,s_j,s_l)为t-2时刻隐藏状态s_i、t-1时刻隐藏状态s_j和t时刻任意类别原子事件标签的目的隐藏状态s_k的状态转移次数之和；

计算词性标签的观察分布概率b_ij(k)并转换为词性标签的观察分布概率矩阵b：

其中，c(s_i,s_j,p_k)为t-1时刻隐藏状态s_i、t时刻隐藏状态s_j和t时刻词性标签p_k的状态转移次数之和，∑_l∈[1,M]c(s_i,s_j,p_l)为t-1时刻隐藏状态s_i、t时刻隐藏状态s_j和t时刻任意类型词性标签p_k的状态转移次数之和；

计算相应位置标签观测分布概率c_j(k)并转换为相应位置标签观测分布矩阵c：

其中，c(e_j,r_k)为t时刻的状态隐藏状态s_i和相应位置标签r_k的状态转移次数之和，∑_l∈[1,L]c(e_j,r_l)为t时刻的隐藏状态e_j和任意相应位置标签r_k的状态转移次数之和；

以隐藏状态序列S、词性标签序列PO、相应位置标签序列RO、初始状态分布概率矩阵π、状态转移概率矩阵a、词性标签的观察分布概率矩阵b、相应位置标签观测分布矩阵c为参数，建立二阶HMM模型。

3.根据权利要求1所述的基于混合隐马尔可夫模型的原子事件标签的提取方法，其特征在于，在所述提取阶段之后还包括纠错阶段，所述纠错阶段包括以下步骤：

依据正确原子事件标签类型，将错误事件分为六个父类；

将每一父类的所有错误事件分为三个子类；

利用K－msans聚类算法进行错误事件分析：根据二阶HMM模型，确定错误属于哪个父类；

计算单词的上下文特征向量和三个子类聚类中心的距离，若距离小于阈值T则进行错误纠正，阈值T的计算公式如下：

其中，A是训练语料库中父类原子事件标签的数量，s是统计结果中错误分类的父类原子事件标签的数量，p_i是单词的上下文特征向量，m_j是第j子类聚类中心，η是协调两个观察者的影响的系数，k是聚类中心的数量。