[发明专利]基于知识图谱的大型语言模型训练方法及装置

权利要求书

1.一种基于知识图谱的大型语言模型训练方法，其特征在于，包括：

基于金融历史实体数据、历史事件数据和历史关系数据，以历史实体和历史事件为节点、历史关系为边构建金融知识图谱；

获取用于训练的事件，并基于所述金融知识图谱将与所述事件关联的事件导出，得到事件集合，将所述事件集合转化为事件向量；

基于所述事件向量构建向量矩阵，并基于所述向量矩阵计算事件集合中两两事件之间的第一相似度，将所述第一相似度高于第一预设阈值对应的事件聚合，得到多个相似事件簇，基于所述相似事件簇确定推理目标事件；

基于所述金融知识图谱，确定与所述推理目标事件相关的实体、事件和关系，基于预设时间范围、推理目标事件相关的实体、事件和关系构建逻辑联通子图；

对所述逻辑联通子图进行简化处理，得到简化逻辑子图；

利用时间属性对所述简化逻辑子图中的所有事件进行排序，形成事件链条，并根据预设的预警事件对所述事件链条进行处理，得到逻辑链；

根据所述推理目标事件、逻辑链对样本数据进行处理，得到训练样本；

利用所述训练样本对预训练的大型语言模型进行微调训练，得到金融事件预测模型；所述金融事件预测模型用于金融事件推理。

2.根据权利要求1所述的方法，其特征在于，所述以历史实体和历史事件为节点、历史关系为边构建金融知识图谱，包括：

采集大量金融历史实体数据、历史事件数据和历史关系数据；

对所述历史事件数据进行分类，得到多种类型的事件；

利用预训练的大型语言模型分别提取所述历史实体数据、历史事件数据和历史关系数据中的实体、事件和关系；其中，所述预训练的大型语言模型提取的事件为分类后的事件；

以所述实体、事件作为节点，关系作为边构建金融知识图谱，并存储于图数据库。

3.根据权利要求1或2所述的方法，其特征在于，基于所述相似事件簇确定推理目标事件，包括：

计算所述相似事件簇中事件在所述金融知识图谱中的PR值，并计算相似事件簇中所有事件PR值的平均值；

基于所述平均值计算所有相似事件簇中的PR值的标准差；

将所述标准差低于预设值的相似事件簇中的事件确定为推理目标事件。

4.根据权利要求1所述的方法，其特征在于，基于所述金融知识图谱，确定与所述推理目标事件相关的实体、事件和关系，基于预设时间范围、推理目标事件相关的实体、事件和关系构建逻辑联通子图，包括：

利用所述金融知识图谱识别与每个推理目标事件存在关系的实体、事件及关系；其中，所述关系包括事件与机构、人之间的关系，企业间的关系，企业与人的关系；

基于预设时间范围内的时序属性，构建具有推理目标事件、推理目标事件相关的实体、事件及关系的逻辑联通子图。

5.根据权利要求1所述的方法，其特征在于，对所述逻辑联通子图进行简化处理，包括：

计算所述逻辑联通子图中所有事件向量与所述推理目标事件之间的第二相似度；

保留所述第二相似度高于第二预设阈值的事件。

6.根据权利要求1所述的方法，其特征在于，所述根据预设的预警事件对所述事件链条进行处理，得到逻辑链，包括：

根据预设预警事件，对存在预警事件的事件链条，将事件链条从预警事件后断开；

对无预警事件的事件链条进行舍弃。

7.根据权利要求2所述的方法，其特征在于，所述基于所述向量矩阵计算事件集合中两两事件之间的第一相似度，包括：

利用所述向量矩阵与所述向量矩阵的转置矩阵相乘，得到乘积矩阵；

利用所述乘积矩阵确定两个事件的第一相似度。

8.根据权利要求5所述的方法，其特征在于，

所述第一预设阈值为0.9，第二预设阈值为0.5。

9.一种基于知识图谱的大型语言模型训练装置，其特征在于，包括：

第一构建模块，用于基于金融历史实体数据、历史事件数据和历史关系数据，以历史实体和历史事件为节点、历史关系为边构建金融知识图谱；

转化模块，用于获取用于训练的事件，并基于所述金融知识图谱将与所述事件关联的事件导出，得到事件集合，将所述事件集合转化为事件向量；

确定模块，用于基于所述事件向量构建向量矩阵，并基于所述向量矩阵计算事件集合中两两事件之间的第一相似度，将所述第一相似度高于第一预设阈值对应的事件聚合，得到多个相似事件簇，基于所述相似事件簇确定推理目标事件；

第二构建模块，用于基于所述金融知识图谱，确定与所述推理目标事件相关的实体、事件和关系，基于预设时间范围、推理目标事件相关的实体、事件和关系构建逻辑联通子图；

简化模块，用于对所述逻辑联通子图进行简化处理，得到简化逻辑子图；

第一处理模块，用于利用时间属性对所述简化逻辑子图中的所有事件进行排序，形成事件链条，并根据预设的预警事件对所述事件链条进行处理，得到逻辑链；

第二处理模块，用于根据所述推理目标事件、逻辑链对样本数据进行处理，得到训练样本；

训练模块，用于利用所述训练样本对预训练的大型语言模型进行微调训练，得到金融事件预测模型；所述金融事件预测模型用于金融事件推理。