[发明专利]一种藏文命名实体的标注方法

说明书

本发明公开了一种藏文命名实体的标注方法，通过半监督学习方式，利用标注语料训练双粒度模型，即粗粒度级的基于词向量KNN聚类的NER和细粒度级的基于半马尔可夫的CRFs的NER，然后对未标注语料进行标注，并将新标注实体加入到标注语料进行双粒度模型的二次训练，迭代式提升双粒度NER。本发明克服了监督学习过度依赖标注语料的局限性、传统CRFs类方法单独式判别方式的问题，融合了实体语义特征、命名实体之间的相互作用等特征，以及结合了聚类和概率图，从命名实体的语义和语法结构的优势互补角度来提高模型拟合度，实现了集体式地NER，有效地提高了藏文命名实体识别的准确率和效率。

技术领域

本发明涉及语言处理技术领域，尤其涉及一种藏文命名实体的标注方法。

背景技术

命名实体识别(Named Entity Recognition,NER)是指检测文本中由单个字、 词或者多个词复合而成的实体词，并确定其属于哪一实体类：人名、地名、组 织机构等。从自然语言处理(Natural Language Processing,NLP)角度，命名实 体识别面临的主要问题是要解决未登录在词典的实体识别问题。从知识发现和 获取的角度，命名实体识别是从无结构文本中抽取涉及用户需求信息的命名实 体。命名实体识别的效果会直接影响到凌驾于其之上的相关研究和应用系统的 性能，如文本的结构化表示、信息抽取、信息检索、机器翻译和问答系统等。

藏文与中文、英文等语言文字都存在一定的共性和特有的某些特点，如藏 文字形结构均以一个基字为核心，其余字母均以此为基础前后附加和上下叠写， 组合成一个完整的字表结构。尽管藏文命名实体识别所使用的词典、规则、语 法和特征与其他语言有所区别，但是从命名实体识别的方法论角度，该实体识 别所采用的方法与其他语言所涉及的方法并无区别。

命名实体识别方法有很多，可以说涉足了监督学习(Supervised Learning， SL)到无监督学习(Unsupervised Learning，UL)，基于规则和词典的学习 (Rules-and-Dictionary Based Learning，RDBL)到统计机器学习(Statistical Machine Learning，SML)，但是这些方法仍然存在一定的缺陷。比如，在监督学 习环境下，分类器在经过标注数据的训练和学习后，虽然得到了较好的拟合性 能，但其前提是需要许多语言学家耗费大量的时间对原始语料进行标注。作为 SL对立面的无监督学习，虽然UL避免了标注数据带来的代价，但由于其缺乏 训练和学习的先验知识，在实体识别的性能上明显不如前者。人们在标注数据 的过程中，获取了大量的规则，从实体构建规则的角度进行实体识别，虽然该 方法在小数据集中获得了一定的准确率，但是，随着数据集的增大，尤其在当 今的大数据时代，基于规则的实体识别方法的突显出的主要问题在于规则库不 能穷举所有的命名实体规则。换一个角度来讲，RDBL没有充分利用命名实体的 上下文与相关特征。然而，SML正是充分利用了标注数据中命名实体的上下文 相关特征，显著地提升了准确性。比如隐马尔科夫模型(Hidden Harkov Models， HMM)、支持向量机(Support Vector Machine，SVM)、最大熵隐马尔科夫模型 (Maximum Entropy Markov Model，MEMM)、条件随机场(ConditionalRandom Fields，CRF)和跳跃链条件随机场(skip-chain CRFs)。相比之下，条件随机场 采用了全局范围内统计归范化的概率，克服了HMM和MEMM的标注偏置问题， 能够获得了更好的分类结果，而且skip-chain CRFs在基本CRFs的基础上，利 用人工近义词对取得了比以往NER算法更好的篇章内NER的准确率。以上所 述的统计学习方法都是从一个细粒度角度考虑实体识别，且在判别一个NE (Named Entity)时，CRFs类方法缺乏考虑特征的度量性、实体的内部特征(比 如无马尔可夫性)等。此外，这类方法过度依赖于标注语料，即类似于在一个 广义的词典(包含特征和命名实体的标注语料)中寻找实体和匹配计算，但是， 当我们需要标注的命名实体未出现在该广义词典中，且其近义NE未具有其相似 的上下文，则可能导致识别误差增大。

发明内容