[发明专利]一种节点文本融合方法、装置、计算机设备及存储介质

说明书

本申请实施例属于大数据中的数据分析领域，涉及一种基于图传播算法的节点文本融合方法、装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，用户的待处理节点文本以及所述节点数据集合可存储于区块链中。本申请通过采用训练好的语言模型对待处理的待处理节点文本进行语义表示得到节点语义向量，使得后续计算文本相似度更精确，找到相近语义的概念节点；通过图传播算法迭代收敛得到更可靠的相近概念数据，有效增强融合后的概念数据的解析性。

技术领域

本申请涉及大数据中的数据分析领域，尤其涉及一种基于图传播算法的节点文本融合方法、装置、计算机设备及存储介质。

背景技术

知识图谱(Knowledge Graph)，在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。

现有一种概念融合方法，即基于文本相似度计算概念本体之间的相似度进而实现相同或者相近节点的融合。

然而，申请人发现传统的概念融合方法普遍不智能，由于不同词组的含义不同，导致本身相似的词组存在较大歧义，从而使得上述仅基于文本相似度计算的概念融合方法会不可避免地产生许多干扰性文本，在后续的机器学习中引入了不少杂质，影响了学习的效果，进而影响了最后的实体关系预测以及知识图谱构建，由此可见，传统的概念融合方法存在噪声过多的问题。

发明内容

本申请实施例的目的在于提出一种基于图传播算法的节点文本融合方法、装置、计算机设备及存储介质，以解决传统的概念融合方法存在噪声过多的问题。

为了解决上述技术问题，本申请实施例提供一种基于图传播算法的节点文本融合方法，采用了如下所述的技术方案：

接收用户终端发送的携带有待处理节点文本的节点融合请求；

根据训练好的语言模型对所述待处理节点文本进行语义表示操作，得到节点语义向量；

根据所述节点语义向量计算所述每两个待处理节点文本之间的文本相似度；

对所述文本相似度大于所述关联阈值的所述待处理节点文本建立关联关系，得到节点数据集合；

根据所述节点数据集合构建与所述待处理节点文本相对应的原始知识图谱；

根据图传播算法对所述原始知识图谱进行筛选操作，得到同标签节点数据；

根据预设的主节点确认策略在所述同标签节点数据中确认主节点概念以及融合节点概念，得到语义融合后的节点数据集合。

为了解决上述技术问题，本申请实施例还提供一种基于图传播算法的节点文本融合装置，采用了如下所述的技术方案：

请求接收模块，用于接收用户终端发送的携带有待处理节点文本的节点融合请求；

语义表示模块，用于根据训练好的语言模型对所述待处理节点文本进行语义表示操作，得到节点语义向量；

相似度计算模块，用于根据所述节点语义向量计算所述每两个待处理节点文本之间的文本相似度；

关联关系建立模块，用于对所述文本相似度大于所述关联阈值的所述待处理节点文本建立关联关系，得到节点数据集合；

图谱构建模块，用于根据所述节点数据集合构建与所述待处理节点文本相对应的原始知识图谱；

筛选操作模块，用于根据图传播算法对所述原始知识图谱进行筛选操作，得到同标签节点数据；

节点确认模块，用于根据预设的主节点确认策略在所述同标签节点数据中确认主节点概念以及融合节点概念，得到语义融合后的节点数据集合。