[发明专利]文本信息抽取方法和系统

说明书

技术领域

本发明涉及面向互联网的自然语言处理领域，具体地说，是涉及一种抽取文本中某种现象或某个事件产生的原因的信息抽取方法和系统。

背景技术

在互联网上，文本是信息表示的最主要方式，人们经常会通过互联网上的文本来得到想要获取的信息。

文本信息抽取技术是一种精确化和高效的信息获取手段，它是从一个或多个网页中抽取指定的实体、关系、事件和事实等用户需要的信息，并形成结构化的数据，呈现给用户，具有内容精确、冗余度小、组织规范等优点。目前，基于互联网的文本信息抽取技术有两种常见形式：基于包装器(Wrapper)半结构化文本信息抽取，和基于自然语言处理技术的无结构化文本信息抽取。基于包装器半结构化文本信息抽取技术主要根据网页中的HTML标注生成包装器并利用包装器来从半结构化的HTML文本中抽取所需要的信息。如互联网的商品价格抽取系统就是它的一个应用实例。目前，绝大多数的Web信息抽取系统和方法就属于这一类；基于自然语言处理技术的无结构化文本信息抽取处理的对象是由大段的文字组成的自然文本(如网页的正文、邮件的正文等)，在文字之间并无结构或标注信息。

人们在生活中经常会问为什么，如“为什么会感冒？”、“网瘾的原因是什么？”、“法航447航班为什么会失事？”等，其目的是为了了解某个事情的原因。重要的是，从互联网文本中抽取某种现象或某个事件的原因，对情报分析、或对军事决策、或对灾难的预警、或对医学技术的研发等方面具有不可估量的价值。

这种从互联网文本中抽取某种现象或某个事件的原因信息的属于无结构化文本信息抽取。目前在无结构化文本信息抽取方法中，根据其自动化程度，一般分为手工规则方法、有监督方法、半监督方法和无监督方法。手工规则方法由人工阅读大量的文档信息，从中总结出规则，然后系统利用这些规则来抽取信息，该方法准确率高，但是耗时、耗力，成本过高；有监督方法则是由用户标注出大量的训练样本，然后采用机器学习的方法学习训练样本得到一个训练后的分类器，用于抽取信息，该方法一般比手工规则方法准确率低，但是花费的成本相对也低；半监督方法首先标注少量样本，然后在此基础上加入大量未标注样本，学习该样本得到一个训练后的分类器，用于抽取信息，该方法一般比有监督方法准确率低，但是标注的样本同样也少；无监督方法则不需要用户的任何标注信息，在抽取过程中不需要用户的干预，自动化程度高、成本低，但是相比其它方法，准确率偏低。

发明内容

为了解决现有技术方法中存在的不足，本发明实施例提供了一种文本信息抽取方法和系统，用于抽取文本中有关一种现象或事件产生的原因信息。

一种文本信息抽取方法，其步骤包括：

设置第一检索条件，检索并选取第一候选网页，从所述第一候选网页中提取第一候选语句；所述第一候选网页与第一候选语句满足第一检索条件；

根据第一候选语句生成第一句法树，并得到第一标注候选语句；

根据第一句法树裁剪第一标注候选语句，生成裁剪依存树；把裁剪依存树分类为原因句依存树集合和非原因句依存树集合；根据第一句法树中的依存路径，合并原因句依存树集合中的裁剪依存树，生成原因句模式库；合并非原因句依存树集合中的依存树生成非原因句模式库；

读取用户输入的需要抽取原因的现象的关键词，根据所述关键词与原因句模式库，设置第二检索条件，检索并选取第二候选网页，从所述第二候选网页中提取第二候选语句，所述第二候选网页与第二候选语句满足第二检索条件；根据第二候选语句，生成第二标注候选语句；

裁剪第二标注候选语句，抽取候选原因结点，构造候选原因结点到现象结构的依存路径，并生成候选原因依存子树集合，从候选原因依存子树集合中抽取原因信息，添加到原因库中。

本发明实施例还提供了一种文本信息抽取系统，包括：原因句子采集模块，用于设置第一检索条件，检索并选取第一候选网页，从所述第一候选网页中提取第一候选语句；所述第一候选网页与第一候选语句满足第一检索条件；

句子标注模块，用于根据第一候选语句生成第一句法树，并得到第一标注候选语句；

依存模式抽取和归并模块，用于根据第一句法树裁剪第一标注候选语句，生成裁剪依存树；把裁剪依存树分类为原因句依存树集合和非原因句依存树集合；根据第一句法树中的依存路径，合并原因句依存树集合中的裁剪依存树，生成原因句模式库；合并非原因句依存树集合中的依存树生成非原因句模式库；