[发明专利]一种基于半监督学习的文本敏感信息识别方法

权利要求书

1.一种基于半监督学习的文本敏感信息识别方法，其特征在于,包括以下过程：

步骤1、基于有标注的敏感文档集和未标注的未知文档集中的学习样本，进行半监督学习，得到分类策略知识库；

步骤2、对于待检测的文档进行中文分词和去停词处理，得到该文档中的特征元数据；

步骤3、用特征向量对特征元数据进行表示，并提取特征值；

步骤4、用分类策略知识库对特征值进行敏感文档性质判断，给出为敏感文档或安全文档的判断结果。

2.如权利要求1所述的基于半监督学习的文本敏感信息识别方法，其特征在于,所述步骤1中，半监督学习过程为：

步骤11、构造敏感文档集和未知文档集；

步骤12、根据敏感文档集中的样本训练分类器，获取分类器；

步骤13、构造未知文档集的子集U’，利用分类器进行子集U’中文档X′的类别判断；

步骤14、若类别判断文档X′为敏感文档，则将文档X′标注加入敏感文档集中，如果类别判断文档X′为安全文档，则从未知文档集中删除文档X′；

步骤15、迭代步骤11到步骤14直到未知文档集为空集，输出分类策略知识库。

3.如权利要求2所述的基于半监督学习的文本敏感信息识别方法，其特征在于,训练分类器的过程为：(1)对敏感文档集的文档进行中文分词和去停词处理；(2)利用SVM算法对处理后的敏感文档集进行特征表示；(3)利用信息增益方法对特征进行提取，保留有效的文本特征；(4)采用libsvm工具训练分类器；(5)进行分类器模型评估，改进训练分类器；(6)结束训练，输出分类器。

4.如权利要求3所述的基于半监督学习的文本敏感信息识别方法，其特征在于,所述步骤3的具体过程为：

步骤31、采用向量空间模型，将文档表示成向量x＝(t₁,t₂,…,t_k,…,t_n)，其中t_k表示第k个特征项，用向量x_i＝(w_i1,w_i2,…,w_ik,…,w_iV)，其中w_ik表示特征t_k的权重，即在文档X中的重要程度，其中N为敏感文档集的文档总数，N_k为敏感文档集中出现特征项t_k的文档数，TF(t_K)为特征项出现的频率；

步骤32、采取信息增益方法的特征提取算法来提取特征值。