[发明专利]一种基于bi-kmeans的文献摘要生成方法及系统

权利要求书

1.一种基于bi-kmeans的文献摘要生成方法，其特征在于包括：

进行对于文本的预处理操作；

对于文献数据集的特征进行表示与选择；

基于处理好的数据样本对bi-kmeans算法进行模型训练；

对于模型训练后的数据文件进行保存。

2.如权利要求1所述的基于bi-kmeans的文献摘要生成方法，其特征在于：所述文本的预处理包括解析、分析与去停用词操作；

所述预处理的流程是

读取文件；

通过jieba分词系统进行对于文本数据进行分词效果；

去停用词；

输出特征词列表；

所述jieba分词系统是一款Python第三方中文分词库；

所述停用词是基于中文停用词库所展示的无用的字词。

3.如权利要求1或2所述的基于bi-kmeans的文献摘要生成方法，其特征在于：所述特征表示与选择是利用bi-kmeans算法进行对于文本数据特征处理；

所述bi-kmeans算法是二进Kmeans算法。

4.如权利要求3所述的基于bi-kmeans的文献摘要生成方法，其特征在于所述模型训练阶段包括：

加载被处理后的数据样本；

设置SVM参数；

根据设计好的算法与既定参数进行算法训练；

所述SVM参数是float系数，即错误项的惩罚系数。

5.如权利要求1、2和4任一所述的基于bi-kmeans的文献摘要生成方法，其特征在于所述bi-kmeans算法的计算公式是：

f(x)＝w·x+c

其中w是法向量，c是位移相，基于该函数计算，目标函数计算公式为，

s.t.yi((w·xi)+c)≥1-μ，i＝1,2，...，n

μ≥0，i＝1,2，...，n

其中，μ是松弛变量，n表示的样本个数，d表示的是惩罚因子。

6.如权利要求5所述的基于bi-kmeans的文献摘要生成方法，其特征在于所述模型训练示将目标函数计算加入一个目标函数的监督迭代后再进行训练，其计算方式为：

其中Acc是测量经验误差，X是分布P上定义的一个实例空间，S＝(q₁，...，q_n)是bi-kmeans算法所有的簇，X_L，X_Q1，X_Q2是L，Q1，Q2的标签向量，X_Q1′和X_Q2′分别表示Q1，Q2的伪标签向量，P(y丨x；Φ)和P(y丨x；Λ)分别表示bi-kmeans算法与SVM的预测概率。

7.如权利要求6所述的基于bi-kmeans的文献摘要生成方法，其特征在于：所述数据文件保存是将模型训练后的数据根据实际预测情况，在本地文件夹中进行保存。

8.一种基于bi-kmeans的文献摘要生成系统，其特征在于：包括预处理模块(100)，特征处理模块(200)，算法学习模块(300)，文本分类模块(400)；

所述预处理模块(100)用于源代码解析、分词与去停用词；

所述特征处理模块(200)用于特征表示和特征选择；

所述算法学习模块(300)用于基学习器、协同训练与融合算法；

所述文本分类模块(400)用于文本保存。

9.如权利要求8所述的基于bi-kmeans的文献摘要生成系统，其特征在于：所述预处理模块(100)的源代码解析流程是将网页爬取的源代码进行定向解析成本系统能够训练的数据模型。

10.如权利要求8或9任一所述的基于bi-kmeans的文献摘要生成系统，其特征在于：所述算法学习模块(300)包括基学习器、协同训练与融合算法功能；

所述基学习器是将被特征处理模块(200)特征选择后的数据转化成代码能够识别的格式；

所述协同训练是基于设定好的参数与相对应的算法进行训练；

所述融合算法是当出现预定结果与实际结果不同时，通过融合算法进行现实结果算法流程监督。