[发明专利]文档段落分割方法

权利要求书

1.文档段落分割方法，其特征在于通过下述步骤实现：一、对文档进行分词的操作及停用词过滤的操作；二、采用词典《知网》对文档的多义词进行消歧；三、对消歧后的词语通过词语之间的相似度构造词汇链；四、对文档构造全文词汇链；五、对文档进行划分，将其划分为多个长度相等的片段，对片段构造词汇链；六、根据片段词汇链和全文词汇链相互覆盖的程度确定片段之间的相似度；七、根据片段之间的相似度构造片段相似图，根据片段相似度图对片段进行分割。

2.根据权利要求1所述的文档段落分割方法，其特征在于步骤三中词汇链的构造过程如下：

[1]过滤掉《知网》中的抽象义原；

[2]设待分割文档Doc的词空间为WordSet，词汇链集合为L；

[3]顺序扫描WordSet，设当前正在扫描的词为W_i，该词具有t个义类；

[4]顺序扫描W_i的t个义类，设当前正在扫描第j个义类，记其为W_ij；

[5]按公式(1)计算W_ij与L中每条链的关联关系，并找到与W_ij具有最大关联关系的链，设此词汇链为L_m；

[6]按公式(2)计算W_ij与L_m的Select值，如值为1，则将词W_i插入到词汇链L_m中，并标记W_i在L_m中的义类为W_ij，否则新建一条词汇链包含W_i，同时标记W_i在新建链中的义类为W_ij；

[7]如果j≥t，即W_ij为词W_i的最后一个义类则转步骤[8]，否则循环运行步骤[4]～步骤[7]；

[8]如果词W_i为WordSet的末尾则转步骤[9]，否则循环运行步骤[3]～步骤[8]；

[9]计算L中每条词汇链的权值，权值为词汇链包含的词数；

[10]取大于平均链权重的词汇链作为文档Doc描述的子主题的代表，并记这些大于平均链权重的词汇链为强链；

R(W_ij，L_k)＝max(Sim(W_ij，L_k)，Cor(W_ij，L_k))    (1)

公式(1)中Sim(W_ij，L_k)反映的是义类W_ij和词汇链L_k所描述的信息之间的相似性；Cor(W_ij，L_k)反映的是W_ij和L_k所描述的信息之间的相关性。

Select(Wij,Lm)=1;IfR(Wij,Lm)≥TH0;Else---(2)]]>

公式(2)中TH为义类W_ij与词汇链L_m反映的信息之间是否相互关联的阈值；其中以词与词汇链包含的所有词的最大相似度和最大相关度作为词与链的关联度；因此词与词汇链之间的关联度阈值也就是词与词之间的关联度阈值；TH为0.7。