[发明专利]面向资源缺乏语言的实体链接系统

摘要

本发明涉及一种面向资源缺乏语言的实体链接系统，该系统采用基于规则和统计相结合的方法，对维吾尔语词汇进行词干切分和词性标注；根据实体指称项的上下文，对实体指称项进行扩充，通过机器翻译的双语对齐技术，实现汉语和维吾尔语词汇的对齐操作，从而利用汉语的丰富语义对维吾尔语进行扩充，获取候选实体；通过融合实体上下文特征、篇章主题特征和知识库中的概念图特征，对候选实体进行排序，将实体指称项链接到排序后的目标实体。通过本发明所述的系统解决资源缺乏语言的实体链接问题并构建实用化的维吾尔语实体链接系统。该系统能够实现语言资源缺乏的维吾尔语的实体链接功能，从而满足智能信息处理需求。

主权项

一种面向资源缺乏语言的实体链接系统，其特征在于该系统面向新疆地区的少数民族语言——维吾尔语，通过规则和统计相结合的方法，利用汉语的丰富语言资源对维吾尔语进行语义扩充，完成实体链接，具体操作按下列步骤进行：a.实体指称项获取模块：识别出文本中待链接到实体库的实体指称项；b.维吾尔语预处理模块：采用基于规则和统计相结合的方法，对维吾尔语词汇进行词干提取和词性标注，词干提取是将词汇切分为词干和词缀，并保留词干部分，其中词性标注为标明该词汇的词性；c. 实体指称项扩充模块：根据实体指称项的上下文，对实体指称项进行扩充，得到实体指称项的上下文信息，其中实体指称项的上下文为实体指称项前后指定长度的文本，对实体指称项的上下文进行扩充是利用词向量模型和维基百科标签对其上下文进行扩充；d.候选实体获取模块：通过机器翻译的双语对齐，实现汉语和维吾尔语词汇的对齐操作，利用汉语的丰富语义对维吾尔语进行扩充，扩充后的文本组成实体库中实体的上下文信息，将实体指称项的上下文信息与实体库中实体的上下文信息进行相似度计算，获取候选实体；e.候选实体排序模块：通过融合实体上下文特征、篇章主题特征和知识库中概念图特征，对候选实体进行排序，将实体指称项链接到排序后的目标实体即可，其中实体上下文特征是实体指称项的上下文特征与候选实体的知名度特征、名称特征的概率乘积；实体篇章主题特征是在基于统计的主题模型中，实体指称项所包含的主题与候选实体包含的主题之间的相似程度；实体概念图特征是在以维基百科为基础的知识网络中，基于语义相似度、共现度计算得到的实体指称项和候选实体相似程度。