[发明专利]基于主题聚类的无监督作文跑题检测方法及系统

权利要求书

1.一种基于主题聚类的无监督作文跑题检测方法，其特征在于：包括以下步骤：

对待测作文进行关键词提取，生成第一关键词集合；

对作文题目进行关键词提取，生成第二关键词集合；

根据第一关键词集合和第二关键词集合，计算待测作文与作文题目之间的主题相关度；

根据计算得到的主题相关度，对待测作文进行聚类处理，生成多个聚类簇；

根据生成的多个聚类簇生成切分阈值；

根据切分阈值将多个聚类簇切分为切题簇和跑题簇；

根据切题簇和跑题簇确认切题作文和跑题作文；

所述根据计算得到的主题相关度，对待测作文进行聚类处理，生成多个聚类簇这一步骤，包括以下步骤：

计算任意两个待测作文之间的主题相关度，得到主题相关度集合；

计算所述主题相关度集合中所有主题相关度的截断均值，并将所述截断均值作为第一阈值；

选取任一待测作文作为初始作文，并根据所述初始作文对聚类簇进行初始化，生成初始聚类簇；

选取初始作文之外的待测作文作为当前作文，计算当前作文与初始聚类簇之间的主题相关度，并判断该主题相关度是否大于或等于第一阈值，若是，则将当前作文加入初始聚类簇，并更新初始聚类簇的质心；反之，则根据当前作文生成新的聚类簇；

判断所有待测作文是否均完成聚类处理，若是，则输出所有聚类簇；反之，则返回执行选取初始作文之外的待测作文作为当前作文，计算当前作文与初始聚类簇之间的主题相关度，并判断该主题相关度是否大于或等于第一阈值这一步骤，直至所有待测作文均完成聚类处理；

所述根据生成的多个聚类簇生成切分阈值这一步骤，包括以下步骤：

计算聚类簇的质心与作文题目之间的主题相关度；

根据质心与作文题目之间的主题相关度，计算质心的分布密度；

对质心的分布密度进行排序；

根据质心的分布密度的排序结果，计算聚类簇的权重；

根据聚类簇的权重，计算质心的加权密度；

选取加权密度最大的两个质心，分别将所述两个质心与作文题目之间的主题相关度作为切题簇的平均切题度和跑题簇的平均切题度；

计算切题簇的平均切题度与跑题簇的平均切题度的平均值，并将所述平均值作为切分阈值。

2.根据权利要求1所述的基于主题聚类的无监督作文跑题检测方法，其特征在于：所述对待测作文进行关键词提取，生成第一关键词集合这一步骤，其具体为：通过TextRank关键词提取算法对待测作文进行关键词提取，生成第一关键词集合。

3.根据权利要求1所述的基于主题聚类的无监督作文跑题检测方法，其特征在于：所述对作文题目进行关键词提取，生成第二关键词集合这一步骤，包括以下步骤：

通过TextRank关键词提取算法对作文题目进行关键词提取；

采用基于词向量模型的余弦相似度计算方法，对提取到的关键词进行扩充，生成第二关键词集合。

4.根据权利要求1所述的基于主题聚类的无监督作文跑题检测方法，其特征在于：所述根据第一关键词集合和第二关键词集合，计算待测作文与作文题目之间的主题相关度这一步骤，包括以下步骤：

逐一选取第一关键词集合中的作文关键词；

分别计算选取的作文关键词与第二关键词集合中每一题目关键词之间的语义相似度，并将计算得到的最高语义相似度作为该作文关键词与作文题目之间的主题相似度；

计算第一关键词集合中所有作文关键词的主题相似度的平均值，并将所述平均值作为待测作文与作文题目之间的主题相关度。

5.根据权利要求1所述的基于主题聚类的无监督作文跑题检测方法，其特征在于：还包括以下步骤：

获取同一聚类簇中的所有待测作文的作文关键词；

根据作文关键词的出现词频，对作文关键词进行排序；

根据排序结果，选取预定个数的作文关键词作为所述聚类簇的质心；

根据质心计算待测作文与聚类簇之间的主题相关度。