[发明专利]文本关键词的提取方法

权利要求书

1.一种文本关键词提取方法，其特征在于在TF-IDF方法提取文本关键词的基础上，通过篇频修正法提取单篇文本的关键词，提高从单篇文本中提取关键词的精度；通过词频修正法或对比选择法提取同类文本集合中共同的领域关键词；所述的篇频修正法的具体步骤如下：

(1)打开训练文本集中的每一篇无关文档；

(2)对所述无关文档分词、词性标注；

(3)通过“废词”表，提取有意义的实词；所述“废词”表包括一些常用的动词、副词和形容词；

(4)统计所述无关文档中所有实词出现的绝对频率；

(5)删除所述无关文档中绝对词频为1的实词；

(6)用TF-IDF公式计算单篇文本中的所有实词的权重，从中提取一定比例的关键词；

所述的词频修正法的具体步骤如下：

(1)打开同类文本集中的所有文档；

(2)分词、词性标注；

(3)通过“废词”表，提取有意义的实词；

(4)统计每一个实词在每篇文档中出现的词频；

(5)统计每一个实词在所有文档中的平均词频；

(6)删除超过平均词频一定范围的所在文本中的词频；

(7)求和剩余词频；

(8)用TF-IDF公式计算同类文本集中的所有实词的权重，从中提取一定比例的领域关键词；

所述的对比选择法的其具体步骤如下：

(1)打开同类文本集中的所有文档；

(2)预处理分词、词性标注；

(3)通过“废词”表，提取有意义的实词；

(4)用TF-IDF公式计算同类文本集中的所有实词的权重，从中提取一定比例的关键词；

(5)统计所有实词的共同拥有率，所述共同拥有率是指：在领域关键词提取时，某一关键词在同类文本集合中出现的文本数与该文本集合的文本数之比；

(6)选择共同拥有率高于设定阈值的关键词为领域关键词。