[发明专利]一种基于长文本分割的文本质量自动评估方法

权利要求书

1.一种基于长文本分割的文本质量自动评估方法，其特征在于,文本采集：利用selenium在万方数据库自动下载pdf论文；文本预处理：利用iText工具将pdf文本转换成可编辑文本，然后根据数据特征和模型设计，进行文本预处理；文本语义模型训练：对预处理的文本进行语义挖掘；文本模型预测：将语义挖掘模型输出的特征进行分类。

2.根据权利要求1所述的基于长文本分割的文本质量自动评估方法，其特征在于，在所述的文本预处理过程中，需要将毕业论文这种长文本进行分割，分割方式有按照章节分割、按照一定长度分割。

3.根据权利要求1所述的基于长文本分割的文本质量自动评估方法，其特征在于，在所述的文本预处理过程中，经过上一步处理后，将每一篇论文的最后作者的研究成果论文附在每一部分文本后面。

4.根据权利要求1所述的基于长文本分割的文本质量自动评估方法，其特征在于，在所述的文本预处理过程中，经过上一步处理后，为每一条数据贴上优秀、正常、延期中的一类标签。

5.根据权利要求1所述的基于长文本分割的文本质量自动评估方法，其特征在于，在所述的文本语义模型训练过程中，在训练阶段结束时，自定义一个loss来避免现有的交叉熵loss只统计分类正确的类，从而出现过于自信的拟合现象，设计公式如下，其中y为真实标签，为预测值：

6.根据权利要求1所述的基于长文本分割的文本质量自动评估方法，其特征在于，在所述的将语义挖掘模型输出的特征进行分类应用于文本模型预测时，对各个分割部分的预测结果进行加权，设计如公式