[发明专利]同义词挖掘方法、装置、存储介质及计算机设备

说明书

本发明公开了一种同义词挖掘方法、装置、存储介质及计算机设备，涉及大数据分析领域。其中方法包括：获取目标语句，并通过全文搜索引擎对所述目标语句进行搜索，得到目标语句的第一相近语句，其中，所述目标语句和所述第一相近语句包含至少一个相同词语；根据所述目标语句和所述第一相近语句，创建相近句子对；对所述相近句子对进行相似度评分，并根据相似度评分得到同义句对，以及对所述同义句对进行词语对齐提取，得到同义词对；将所述同义词对和所述目标语句输入所述全文搜索引擎中进行迭代搜索和迭代提取，得到多个同义句对和多个同义词对。上述方法可以显著提高同义词和同义句的挖掘数量和挖掘质量，降低了同义词挖掘的局限性和技术实现难度。

技术领域

本发明涉及大数据分析领域，尤其是涉及一种同义词挖掘方法、装置、存储介质及计算机设备。

背景技术

同义词挖掘是自然语言处理中一个较为基础的问题，同义词可以利用在机器人的对话生成、机器翻译、句子改写等各个领域中。现有的同义词挖掘方法主要有三种，分别为结构化数据中抽取方法、点击日志挖掘方法和word2vec相似度匹配方法。

其中，结构化抽取的方法是指利用百度百科，金山词霸等字典寻找词语的“别称”和“又称”等特征词来抽取同义词，该方法抽取同义词较为局限，抽取到同义词均是一些通用领域的同义词；而点击日志挖掘方法是指利用用户查询query和用户点击的title频次，频次高的query-title对很可能就包含有同义词，该方法的前提条件是有大批量的点击数据，符合该条件的公司只有像百度、谷歌等大型搜索引擎公司才能拥有如此大批量的点击数据，对于专业领域的公司来说，并没有大批量用户点击数据的积累，因此技术实施难度较大；Word2vec相似度匹配方法是指利用语义相近的词的上下文也相似的原理，训练每个词的词向量表达，再利用该词向量寻找与其距离较近的词，但是该方法获取的同义词准确度较低。此外，利用以上方法挖掘同义词往往是一次性的工作，除非挖掘算法有改进，否则无法通过反复挖掘找出更多的同义词。

基于此，目前亟需一种准确度高且可以自动提升同义词挖掘数量和挖掘质量的同义词挖掘方法。

发明内容

有鉴于此，本申请提供了一种同义词挖掘方法、装置、存储介质及计算机设备，主要目的在于解决同义词挖掘的准确度低且无法自动提升同义词挖掘数量和质量技术问题。

根据本发明的第一个方面，提供了一种同义词挖掘方法，该方法包括：

获取目标语句，并通过全文搜索引擎对所述目标语句进行搜索，得到目标语句的第一相近语句，其中，所述目标语句和所述第一相近语句包含至少一个相同词语；

根据目标语句和第一相近语句，创建相近句子对；

对相近句子对进行相似度评分，并根据相似度评分得到同义句对，以及对同义句对进行词语对齐提取，得到同义词对；

将同义词对和目标语句输入全文搜索引擎中进行迭代搜索和迭代提取，得到多个同义句对和多个同义词对。

根据本发明的第二个方面，提供了一种同义词挖掘装置，该装置包括：

目标语句获取模块，用于获取目标语句，并通过全文搜索引擎对目标语句进行搜索，得到目标语句的第一相近语句，其中，目标语句和第一相近语句包含至少一个相同词语；

句子对创建模块，用于根据目标语句和第一相近语句，创建相近句子对；

同义词抽取模块，用于对相近句子对进行相似度评分，并根据相似度评分得到同义句对，以及对同义句对进行词语对齐提取，得到同义词对；

同义词迭代抽取模块，用于将同义词对和目标语句输入全文搜索引擎中进行迭代搜索和迭代提取，得到多个同义句对和多个同义词对。

根据本发明的第三个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述同义词挖掘方法。