[发明专利]一种基于跨语言资源的柬语命名实体识别的方法

权利要求书

1.一种基于跨语言资源的柬语命名实体识别的方法，其特征在于：获取英柬双语平行文本语料及柬语单语文本语料；然后使用工具Word2vec对柬语单语文本进行处理得到柬语单词的向量表示；再通过余弦方法计算柬语单词之间的相似度值同时使用IBM模型实现柬英双语词之间的词对齐；运用双语图模型中的标签传播算法对柬英双语语料进行处理进而得到在该文本中的柬语单词的对应类别，再将其作为跨语言特征并且连同词性特征、标记特征，包括标记人名、地名的单词特征运用到机器学习模型进而实现对所获得语料进行实体命名识别；

所述方法的具体步骤如下：

Step1、获取英柬双语平行文本语料及柬语单语文本语料；

Step2、使用Word2vec工具对所获得的柬语单语文本语料进行处理，得到该文本中的每个柬语单词所对应的词向量文本；

Step3、计算柬语单语单词之间的相似度通过对词向量使用余弦相似度的方法来实现；设柬语文档中任意两个单词的向量表示为w_i和w_j，其中w_i＝(w_i1,w_i2,...,w_in)，w_j＝(w_j1,w_j2,...,w_jn)，则其两词之间的相似度表示为：

Step4、实现柬语单词与英语单词的词对齐：使用标准的词对齐技术IBM模型对柬语单词和英语单词进行词对齐；

Step5、使用标签传播算法对柬英双语平行文本中的每个柬语单词计算出其对应的类别；

Step 6、将标签分布的类别作为柬语单词的跨语言特征，此外再连同词性特征、标记特征，包括标记人名、地名的单词特征一起作为特征模板，使用机器学习模型实现柬语的命名实体的初步识别，实体命名识别包括对柬语中的人名、地名、机构组织名，即PER、LOC、ORG命名实体识别进行识别；

所述步骤Step5的具体步骤为：

Step5.1、利用标签传播算法将英文顶点的标签分布传送到柬文顶点中；即对每个与标记为类别y的英文单词有高置信度对齐关系的柬文单词对类别y的分布如下：

式中r_i(y)表示标记为类型y的柬语的标签分布，u_i表示柬语单词，v_y表示标记类别为y的英语单词，表示柬语单词u_i和类别为y的英语单词之间的对齐关系，表示柬语单词u_i和类别为y的英语单词之间的对齐出现的次数，而公式中分母表示柬语单词u_i在该文本中所有的对齐的次数，其类别y主要为人名类别、地名类别、机构组织名类别以及非实体类别，即PER、LOC、ORG、Null；

Step5.2、对于语料中存在的柬语与英语未对齐的单词的情况，在使用标签传播算法来计算其所属的类别分布时需通过最小化目标函数来进行：

约束条件为：

其中，i，j表示任意两个词的下标，u_i表示柬语单词，u_j表示英语单词，K(u_i)表示柬语的K近邻词的集合，V_k表示柬语单词的集合，表示柬语单词的边缘顶点集，表示柬语的顶点集合，q_i表示柬语顶点的标签分布，q_j表示英语顶点的标签分布，ν为经验参数，用于调整对所有类别y上的均匀分布的标签的分布，U表示均匀分布；q_i(y)表示标签类别为y的柬语顶点的标签分布，q_j(y)表示标签类别为y的英语顶点的标签分布；w_ij表示柬语单语不同词之间的相似度；公式(4)表示对于任意存在某一柬语单词u_i，其标签类别为y的所有柬语单词的标签分布总和等于1，其公式(7)表示对于相邻顶点中具有不同的标签分布的现象，在这里使用损失函数的平方来进行表述；

如果一个柬文单词顶点没有任何边与已标注类别的单词相连，公式(8)的第二项保证词顶点覆盖的边界在所有类别上是均匀的；按以下方式迭代：

在满足的前提下，γ_i(y)和κ_i的定义如下：

其中，q_i(y)表示标签类别为y的柬语顶点的标签分布，m表示迭代的次数，U(y)表示标签类别为y的均匀分布，表示当前柬语词的K近邻词语的概率根据其相似度传递给当前词，并用一个均匀分布做平滑，超参数ν表示其比例，表示当前柬语词的K近邻词语的和再加上超参数，按照上述方法重复迭代50次。