[发明专利]特征词汇提取方法及装置

权利要求书

1.一种特征词汇提取方法，其特征在于，包括：

获取网络资源的描述信息作为提取语料；

从提取语料中，提取满足指定字符串条件的字符串作为显示词组，或者，从提取语料中，提取属于领域词典中的词组作为所述显示词组，或者，在提取语料包括网络资源的属性信息时，提取属性信息中的属性值作为显示词组；

以及，从提取语料中，提取满足指定词性组合条件的单词组合作为隐式词组，或者，从提取语料中，提取满足指定正则表达式的单词组合作为隐式词组，或者，在提取语料包括网络资源的属性信息时，按照预设生成规则，根据属性信息，生成隐式词组；

根据所述显示词组和隐式词组的出现频次，确定所述提取语料中的待标记词组；

在所述提取语料中对所述待标记词组进行标记，以获得词组标记结果；

从所述词组标记结果中，提取可以反映所述网络资源特征的特征词汇。

2.根据权利要求1所述的方法，其特征在于，所述获取网络资源的描述信息作为提取语料，包括：

从数据仓库中，获取所述网络资源的原始描述信息；

对所述原始描述信息进行文本预处理，以获得标准化描述信息作为所述提取语料。

3.根据权利要求2所述的方法，其特征在于，所述网络资源的原始描述信息包括：所述网络资源的标题、属性信息、关键词、详情信息以及评论信息中的至少一种。

4.根据权利要求2所述的方法，其特征在于，所述对所述原始描述信息进行文本预处理，以获得标准化描述信息作为所述提取语料，包括：

对所述原始描述信息进行连接符号预留处理、大小写转换处理、拼写一致性检查处理、单词分割处理、拼写纠错处理以及名词词形还原处理中的至少一种。

5.根据权利要求4所述的方法，其特征在于，所述对所述原始描述信息进行连接符号预留处理，包括：

保留所述原始描述信息中符合指定格式的短线、单引号或百分号，将所述原始描述信息中存在的不符合指定格式的短线、单引号和百分号以及其它连接符号删除。

6.根据权利要求4所述的方法，其特征在于，所述对所述原始描述信息进行拼写一致性检查处理，包括：

对于所述原始描述信息中的每个单词或词组，若所述单词或词组在所述原始描述信息中出现多种拼写方式，统计每种拼写方式在所述数据仓库中重复出现的次数；

从所述多种拼写方式中，选择重复出现的次数最多且大于预设次数阈值的拼写方式作为目标拼写方式，将所述单词或词组在所述原始描述信息中出现的其它拼写方式替换为所述目标拼写方式。

7.根据权利要求4所述的方法，其特征在于，所述对所述原始描述信息进行名词词形还原处理，包括：

根据词典和预设单复数变换规则中的至少一种，对所述原始描述信息中的名词进行词形还原。

8.根据权利要求1所述的方法，其特征在于，所述从所述词组标记结果中，提取可以反映所述网络资源特征的特征词汇，包括：

从所述词组标记结果中，提取候选词汇；

根据所述候选词汇的出现频次，计算所述候选词汇的权重；

根据所述候选词汇的权重，选择权重位于预设权重区间范围内的候选词汇作为所述特征词汇。

9.根据权利要求8所述的方法，其特征在于，所述从所述词组标记结果中，提取候选词汇，包括：

去除所述词组标记结果中的无用词，以获得所述候选词汇。

10.根据权利要求1-9任一项所述的方法，其特征在于，所述从所述词组标记结果中，提取可以反映所述网络资源特征的特征词汇之后，还包括：

根据指定的修正因素，对所述特征词汇的权重进行修正；

根据修正后的权重，对所述特征词汇进行排序。