[发明专利]基于知识图谱的大型语言模型训练方法及装置

说明书

本发明涉及一种基于知识图谱的大型语言模型训练方法及装置，所述方法包括构建金融知识图谱，导出事件关联的事件，得到事件集合，将所述事件集合转化为事件向量，确定推理目标事件及相关的实体、事件和关系，构建逻辑联通子图，对逻辑联通子图进行简化处理，得到简化逻辑子图，对简化逻辑子图中的所有事件进行排序，形成事件链条，得到逻辑链；根据所述推理目标事件、逻辑链对样本数据进行处理，得到训练样本，对预训练的大型语言模型进行微调训练，得到金融事件预测模型；本申请通过知识图谱，生成有逻辑关系的训练样本，训练大型语言模型，使其具备金融垂直方向的思维推理能力，除此之外，还能大大节省人工整理训练样本成本。

技术领域

本发明属于语言模型技术领域，具体涉及一种基于知识图谱的大型语言模型训练方法及装置。

背景技术

大型语言模型（Large Language Model，LLM）是利用庞大的文本语料库中对仅使用解码器的Transformer模型进行预训练（使用语言建模目标）构建的。只要预先训练足够大的模型，LLM就能在少量样本学习方面具有极强的能力。

相关技术中，现有的训练自定义模型可以根据特定需求和要求进行调整，包括平台特定功能、术语和上下文，然而这些在通用模型如GPT-4甚至代码特定模型如Codex中都无法被很好支持的。其次，虽然，目前超大规模的生成式大语言模型具有较好的理解和生成能力，但这些模型都集中在少数AI提供商手中。这对于特定领域或者从服务的可延续性和稳定性来说，存在不可控性，必须摆脱对AI提供商的依赖。除此之外，LLM的训练成本极高。为降低成本，需训练定制的大型语言模型，使用特定领域的数据，使其更小、更高效，并且可以大幅降低托管成本。

而LLM能够解决上述技术问题，实现定制化需求、降低依赖性，还能够降低托管成本，但是虽然LLM具有强大的功能，但在解决金融相关推理问题上仍然存在困难。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于知识图谱的大型语言模型训练方法及装置，以解决现有技术中大型语言模型在解决金融相关推理问题上仍然存在困难的问题。

为实现以上目的，本发明采用如下技术方案：一种基于知识图谱的大型语言模型训练方法，包括：

基于金融历史实体数据、历史事件数据和历史关系数据，以历史实体和历史事件为节点、历史关系为边构建金融知识图谱；

获取用于训练的事件，并基于所述金融知识图谱将与所述事件关联的事件导出，得到事件集合，将所述事件集合转化为事件向量；

基于所述事件向量构建向量矩阵，并基于所述向量矩阵计算事件集合中两两事件之间的第一相似度，将所述第一相似度高于第一预设阈值对应的事件聚合，得到多个相似事件簇，基于所述相似事件簇确定推理目标事件；

基于所述金融知识图谱，确定与所述推理目标事件相关的实体、事件和关系，基于预设时间范围、推理目标事件相关的实体、事件和关系构建逻辑联通子图；

对所述逻辑联通子图进行简化处理，得到简化逻辑子图；

利用时间属性对所述简化逻辑子图中的所有事件进行排序，形成事件链条，并根据预设的预警事件对所述事件链条进行处理，得到逻辑链；

根据所述推理目标事件、逻辑链对样本数据进行处理，得到训练样本；

利用所述训练样本对预训练的大型语言模型进行微调训练，得到金融事件预测模型；所述金融事件预测模型用于金融事件推理。

进一步的，所述以历史实体和历史事件为节点、历史关系为边构建金融知识图谱，包括：

采集大量金融历史实体数据、历史事件数据和历史关系数据；

对所述历史事件数据进行分类，得到多种类型的事件；

利用预训练的大型语言模型分别提取所述历史实体数据、历史事件数据和历史关系数据中的实体、事件和关系；其中，所述预训练的大型语言模型提取的事件为分类后的事件；