[发明专利]基于无监督聚类的长文本可信度评估方法及系统

权利要求书

1.一种基于无监督聚类的长文本可信度评估方法，其特征在于，包括：

以已知长文本获取训练数据，提取该训练数据的训练特征以构建训练特征向量集，对该训练特征向量集进行无监督聚类，得到多个训练类心；

以待评估长文本获取评估数据，提取该评估数据的评估特征向量；

以第i个评估数据的评估特征向量对于训练类心的相似度作为第i个评估数据对于训练类心的段落评估值Scorep_j，并获得该待评估长文本相对训练类心的文本评估值Score_j，以文本评估值Score_j得到该待评估长文本的可信度Score；

其中，

Score＝α₁*Score₁+α₂*Score₂+……+α_n*Score_n；

m为评估数据的数量，n为训练类心的数量，0＜i＜m，0＜j＜n，α为文本评估值的权重参数，q为段落评估值大于段落评估阈值的评估数据的个数。

2.如权利要求1所述的长文本可信度评估方法，其特征在于，通过数据预处理步骤获取该训练数据和评估数据，该数据预处理步骤包括：

删除该已知长文本中的恶意跳转文本，并以文本长度大于文本阈值的已知长文本为第一长文本，对该第一长文本进行段落切分，得到多个第一段落，以该第一段落为该训练数据；

删除该待评估长文本中的恶意跳转文本，并以文本长度大于该文本阈值的待评估长文本为第二长文本，对该第二长文本进行段落切分，得到多个第二段落，以该第二段落为该评估数据。

3.如权利要求2所述的长文本可信度评估方法，其特征在于，该训练特征和该评估特征包括：符号特征、基本特征、词性特征和高层语义特征；

其中，该符号特征为文本符号统计特征，包括文本数字个数、标点符号个数、指定词个数；

该基本特征包括文本平均词长、正文字符数、标题字数、句子数、文本平均句长、段落长度、段落内平均句长；

该词性特征包括文本中副词个数、形容词个数、介词个数、名词个数、动词个数、段落中第一人称个数、第二人称个数、第三人称个数、组织机构名个数、人名个数、地名个数；

该高层语义特征包括段落情感值、文章标题与段落的相似度、易读性指标、信息量指标、信息度指标、交互性、兴趣性、动人性、说服性、不确定性、逻辑性。

4.一种基于无监督聚类的长文本可信度评估系统，其特征在于，包括：

第一数据模块，用于以已知长文本获取训练数据，提取该训练数据的训练特征以构建训练特征向量集，对该训练特征向量集进行无监督聚类，得到多个训练类心；

第二数据模块，用于以待评估长文本获取评估数据，提取该评估数据的评估特征向量；

评估模块，用于获取该评估特征向量相对该训练类心的评估值，并以该评估值得到该待评估长文本的可信度；其中，以第i个评估数据的评估特征向量对于训练类心的相似度作为第i个评估数据对于训练类心的段落评估值Scorep_j，并获得该待评估长文本相对训练类心的文本评估值Score_j，以文本评估值Score_j得到该待评估长文本的可信度Score；

其中，

Score＝α₁*Score₁+α₂*Score₂+……+α_n*Score_n；

m为评估数据的数量，n为训练类心的数量，0＜i＜m，0＜j＜n，α为文本评估值的权重参数，q为段落评估值大于段落评估阈值的评估数据的个数。