[发明专利]文本相似度识别模型的训练方法、装置及相关设备

说明书

本发明涉及人工智能中的文本识别技术领域，提供一种文本相似度识别模型的训练方法、装置及相关设备，该方法包括：获取包括第一文本样本和第二文本样本的多组第一样本组；将与第一文本样本的字面相似度达到预设阈值的元素作为第三文本样本；标注第三文本样本得到负文本样本，形成多组第二样本组；将每组第二样本组中样本用表示向量表示；计算第一相似度和第二相似度；根据第一相似度和第二相似度调整参数，重复获取表示向量至本步骤以获得训练好的文本相似度识别模型。通过本发明的实施，能够解决现有技术中的文本相似度识别方法存在的识别的精准度较低的问题。同时，本发明还涉及区块链技术，第一样本组和第二样本组可存储于区块链节点中。

技术领域

本发明涉及人工智能中的文本识别技术领域，尤其涉及一种文本相似度识 别模型的训练方法、装置及相关设备。

背景技术

近些年来，随着信息技术的不断发展，产生的信息量呈现出了爆炸性的增 长趋势，为了能够更好地分析处理应用这些信息，通常会使用各种算法和模型 计算这些信息的相似度，以便于检索查询获得目标信息。例如，在信息检索查 询过程中，一般需要计算文本之间的相似度，以查询获得目标文本。

目前，为了能够计算文本之间的相似度，一般是通过各种相似度计算算法 计算文本之间的相似度，通过关键词匹配技术实现相似度的计算，比如杰卡德 相似系数，余弦距离，欧式距离，TFIDF等。虽然现有的文本相似度计算方法 能够在一定程度上实现获取文本相似度，但是由于语言的复杂性较高，对于同 形异义或者异形同义现象，简单的关键词匹配技术逐渐无法满足当下的需求， 文本相似度识别的精准度较低。

综上所述，现有技术的文本相似度识别方法存在识别精准度较低的问题。

发明内容

本发明提供一种文本相似度识别模型的训练方法、装置及相关设备，以解 决现有技术中的文本相似度识别方法存在的识别的精准度较低的问题。

本发明提供一种文本相似度识别模型的训练方法，包括：

获取多组第一样本组，每组第一样本组包括预先标注的第一文本样本和第 二文本样本，第一文本样本和第二文本样本表意相同；

分别计算每个第一文本样本与LCQMC数据集中各个元素之间的字面相似 度，将字面相似度达到预设阈值的元素作为第三文本样本；

接收对第三文本样本的标注信息，得到与各个第二文本样本对应的负文本 样本，形成多组包括第一文本样本、第二文本样本和负文本样本的第二样本组， 负文本样本与第一文本样本、第二文本样本的表意不同；

通过文本相似度识别模型分别将每组第二样本组中的第一文本样本、第二 文本样本、负文本样本用表示向量进行表示；

根据表示向量计算每组第二样本组的第一文本样本和第二文本样本之间 的第一相似度，以及计算每组第二样本组的负文本样本和第二文本样本之间的 第二相似度；

当第一相似度大于第二相似度的组数在第二样本组总组数中的占比未超 过预设占比时，调整文本相似度识别模型中表示向量的参数，重复获取表示向 量至比较占比与预设占比，直至第一相似度大于第二相似度的组数在第二样本 组总组数中的占比超过预设占比时，将当前的文本相似度识别模型确定为预先 训练好的文本相似度识别模型。

本发明提供一种文本相似度识别模型的训练装置，包括：

第一样本组获取模块，用于获取多组第一样本组，每组第一样本组包括预 先标注的第一文本样本和第二文本样本，第一文本样本和第二文本样本表意相 同；

第三文本样本获取模块，用于分别计算每个第一文本样本与LCQMC数据集 中各个元素之间的字面相似度，将字面相似度达到预设阈值的元素作为第三文 本样本；