[发明专利]一种面向英文无结构文本的人物属性抽取方法

权利要求书

1.一种面向英文无结构文本的人物属性抽取方法，其特征在于，包括以下步骤：

A、构造人工标记训练集，根据人工标记训练集训练支持向量机分类器；

B、获取待识别文档，对待识别文档进行指代消解处理；

C、对步骤B处理后的待识别文档进行分句和分词处理，并进行命名实体识别；

D、将有包含两个共现实体的句子进行特征提取，通过步骤C中命名实体识别标记的标签，选择步骤A中对应的支持向量机分类器，对提取的特征进行识别，完成人物属性抽取。

2.如权利要求1所述的面向英文无结构文本的人物属性抽取方法，其特征在于，所述步骤A构造人工标记训练集，根据人工标记训练集训练支持向量机分类器，具体包括以下分步骤：

A1、获取每一种人物属性的样本数据，对样本数据中的每一个句子进行分割处理；

A2、对步骤A1处理后的样本数据进行人工标记，得到正例数据集和负例数据集，并在句子中标记人名词和人物属性词；

A3、提取正例数据集和负例数据集中的特征向量，训练支持向量机分类器。

3.如权利要求2所述的面向英文无结构文本的人物属性抽取方法，其特征在于，所述特征向量包括词法特征，句法特征，语义特征，位置信息增益特征和距离特征。

4.如权利要求3所述的面向英文无结构文本的人物属性抽取方法，其特征在于，所述位置信息增益特征采用位置信息增益词典进行表示，具体为在人物属性词前后一定范围内分别计算信息增益，筛选出高信息增益的若干个词，作为位置信息增益词典。

5.如权利要求4所述的面向英文无结构文本的人物属性抽取方法，其特征在于，所述计算信息增益包括以下分步骤：

A31、统计正负分类的文档数量N₁,N₂；

A32、统计人物属性值的前三个位置的每个词的正文档出现频率A、负文档出现频率B、正文档不出现频率C、负文档不出现频率D；

A33、计算信息熵，表示为

其中，S表示文档类别；

A34、计算每个词的信息增益，表示为

6.如权利要求5所述的面向英文无结构文本的人物属性抽取方法，其特征在于，所述步骤B中对待识别文档进行指代消解处理具体为将待识别文档中的人称代词用上文出现的人名词进行代替。

7.如权利要求6所述的面向英文无结构文本的人物属性抽取方法，其特征在于，所述步骤D对提取的特征进行识别，完成人物属性抽取具体为判断人名词和人物属性词是否存在对应关系；若是，则将人物属性词提取出来保存在数据库中；若否，则将这个句子舍弃。