[发明专利]语义相似度的确定方法及确定装置、电子设备

说明书

本发明公开了一种语义相似度的确定方法及确定装置、电子设备。其中，该方法包括：采用依存句法树分别抽取待比较语句中的目标句法块集合，其中，依存句法树用于指示语句单位内成分之间的关联关系和句法结构；将目标句法块集合中包含的各个句法块分别映射至特征向量空间中，并在特征向量空间中计算待比较语句之间的句法相似度；分别对待比较语句进行分词处理，得到多个语句关键词；确定语句关键词之间的关键词相似度；将句法相似度和关键词相似度加权求和，得到待比较语句之间的语义相似度。本发明解决了相关技术中在确定文本语义相似度时，容易受到语句长度限制，文本相似度检测的准确度低的技术问题。

技术领域

本发明涉及文本分析技术领域，具体而言，涉及一种语义相似度的确定方法及确定装置、电子设备。

背景技术

相关技术中，自然语言处理是文本分析方面的重要内容，通过自然语言处理能够了解到文本相似度或者文本中各个语句之间的相似度，文本相似度计算是自然语言处理领域中一项重要议题，在文本分类、智能问答、信息检索、抄袭检测等任务上都需要文本相似度计算做支撑。目前，常见的深度学习类方法需要依赖大型语料库以及额外的辅助信息来进行训练，耗费时间长，但在某些领域下，例如工业领域中工艺技术文档，涉及技术保密，大规模数据集并不好获取，且很多应用需要实时计算，这种情况下，由于缺少大规模领域语料库，无法进行网络训练，也就无法进行文本相似度计算；另外，基于词重叠的方法，例如，Jaccard相似度系数法、IDF重叠法等计算文本语句相似度时，只考虑词的相似度，而忽略了语法结构；而基于距离的语义相似度计算法，例如Shortest Path法、Weighted Links法、CCSK法，虽然考虑了语法结构，但在句子长度非常敏感，句子较长情况下，精度较差。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种语义相似度的确定方法及确定装置、电子设备，以至少解决相关技术中在确定文本语义相似度时，容易受到语句长度限制，文本相似度检测的准确度低的技术问题。

根据本发明实施例的一个方面，提供了一种语义相似度的确定方法，包括：采用依存句法树分别抽取待比较语句中的目标句法块集合，其中，所述依存句法树用于指示语句单位内成分之间的关联关系和句法结构；将所述目标句法块集合中包含的各个句法块分别映射至特征向量空间中，并在特征向量空间中计算待比较语句之间的句法相似度；分别对所述待比较语句进行分词处理，得到多个语句关键词；确定语句关键词之间的关键词相似度；将句法相似度和关键词相似度加权求和，得到待比较语句之间的语义相似度。

可选地，在采用依存句法树分别抽取待比较语句中的目标句法块集合之前，所述确定方法还包括：确定每个待比较语句中的词语数量；引入与所述词语数量对应的根节点的节点集；确定待比较语句中各词语之间的关联关系，得到依存关系边集；基于所述根节点的节点集和所述依存关系边集，构建表示依存句法树的二元组。

可选地，在特征向量空间中计算待比较语句之间的句法相似度的步骤，包括：抽取所述待比较语句的句法结构和句法块；将所述句法块中的单词在所述特征向量空间中进行转换，得到词向量；拼接所有的词向量，得到语句向量；基于所述语句向量，计算待比较语句之间的句法相似度。

可选地，分别对所述待比较语句进行分词处理，得到多个语句关键词的步骤，包括：采用预设语言技术平台，对所述待比较语句中的词性进行标注处理，得到词性标注结果；基于所述词性标注结果，对所述待比较语句进行分词处理，输出分词序列和词性序列；基于所述分词序列和词性序列，得到多个语句关键词。