[发明专利]一种古文异文自动识别系统和方法

说明书

本发明公开了一种古文异文自动识别系统和方法，包括：古文异文数据集构建模块；古文异文特征转换模块；古文异文模型训练模块；古文异文模型效果评估模块。步骤为：S1、选取合适的语料作为训练集，并人工校对并对其处理；S2、编写模型训练程序，调整模型参数，对训练集进行迭代训练；S3、对实验结果进行评估，并将最优的模型进行保存；S4、搭建模型调用接口，从而方便用户进行直接使用，实现对古文异文的识别。本发明的优点是：通过计算机实现异文的自动发掘，可以从更大规模的语料中获取有效信息，极大的降低了人力物力，减小工作量。

技术领域

本发明涉及计算机软件技术领域，特别涉及一种基于深度学习模型SIKU-BERT 开发的古文异文自动识别方法。

背景技术

异文是古籍中的常见现象，也是重要研究对象。传统的古籍校勘是从大量古籍文献中人工查找校勘资料包括异文等，不仅耗时、费力、工作量大，而且找到的数据未必精准全面。通过计算机实现异文的自动发掘，可以从更大规模的语料中获取有效信息。并且，结合异文自动发掘的校勘方式可以实现穷尽式检索，对于古籍他校法具有重要意义，为新时期古籍校勘硏究提供了新思路和新方法。

发明内容

本发明针对现有技术的缺陷，提供了一种古文异文自动识别系统和方法。

为了实现以上发明目的，本发明采取的技术方案如下：

一种古文异文自动识别系统，包括：

古文异文数据集构建模块，用于实现训练集及测试集的读取及加载；

古文异文特征转换模块，用于将异文句子对转为语义提取，并保存为词向量形式；

古文异文模型训练模块，用于异文句子的文本匹配模型迭代训练；

古文异文模型效果评估模块，用于对古文异文识别模型的效果进行评估。

本发明还公开了一种古文异文自动识别方法，包括如下步骤：

S1、通过选取古文语料为训练所需的语料，对其进行清洗、去重、校对的预处理，之后按标点符号将原始文本切分为短句，并对语料进行标注，选取意义相同的句子作为句子对，并标明其出现位置，采用“0-1”分类方式对句子对进行标注，0表示非异文句子对，1表示异文句子对，获得具有标签的句子对作为训练语料。

S2、基于PyTorch深度学习框架编写模型训练程序，并加载古文领域深度学习模型SIKU-BERT对文本进行处理，调整模型到合适参数，对训练集进行迭代训练，直至训练结束。

S3、对实验所得的模型性能进行评价，采用的指标为准确率(Precision)、召回率(Recall)、F值(F-Measure)，评估完成后，选择效果最优的模型进行保存。

S4、搭建模型调用接口，实现用户直接输入到对古文异文的自动识别。

优选的，所述步骤S1中古文语料来源为“中国哲学书电子化计划”网站上《春秋公羊传》《春秋穀梁传》《春秋左传》的原文数据。

优选的，所述步骤S1中，异文标注规范主要为①语义完全对应且文本相似度较高；②部分语义及文本对应；③语义相似度高而文本相似度较低，但包含同义词等；④文本几乎无相似之处，但表达同事件；⑤部分成分存在省略或简写。符合上述五点规范中的任意一点标注为异文，即标注为1。

优选的，所述步骤S1中，具体数据处理后格式为“标签句子a句子b”，其中以分隔符“\t”进行分割，并将处理后含有标签的句子对作为训练语料进行训练。

优选的，所述步骤S2中，SIKU-BERT的参数设置为12-layer，768-hidden， 12-heads，110M parameters，it模型共12层，隐层768维，12头模式，110M 个参数。最大截断长度256，训练批次大小32，学习率2e-5，迭代次数10.0次。