[发明专利]一种基于社团划分的无监督复合短语识别方法

权利要求书

1.一种基于社团划分的无监督复合短语识别方法，其步骤包括：

1)采用词性标注工具对输入的语料进行词性标注和分词；

2)生成科技复合短语的上下文模板，并通过所述上下文模板对分词后的语料进行科技复合短语的预提取；

3)将预提取后的文本中的分词序列映射到有序的社团图结构，然后按照分词之间的权重将前后具有紧密联系的词语划分到一个社团分段中；

4)计算各个社团分段的模块度，并求解不同社团分段的组合的模块度，将整个输入文本的模块度之和最大化；

5)验证各社团分段是否包含科技复合短语的特征词，以实现科技复合短语的最终识别。

2.如权利要求1所述的方法，其特征在于：步骤2)根据科技复合短语的频繁上下文特性，采用基于LDA自动生成模板的方法来生成所述上下文模板。

3.如权利要求1所述的方法，其特征在于：步骤3)所述分词之间的权重包括特殊符号权重、维基百科权重以及词性权重。

4.如权利要求3所述的方法，其特征在于，所述特殊符号权重为：

$Q_{sm}(w_1,w_2)=e^{D_e(w_1,w_2)}\×I_s^{sm}(w_1,w_2),$

其中，D_s(w₁，w₂)代表分词w₁与w₂之间间隔的分词个数，为表征w₁与w₂之间是否位于同一对特殊符号的布尔函数。