[发明专利]基于人工智能的词汇挖掘方法、装置、服务器及存储介质

说明书

本发明提供了一种基于人工智能的词汇挖掘方法、装置、服务器及存储介质，属于人工智能技术领域。所述方法包括：获取第一文本样本、第二文本样本和主题词库；根据所述第一文本样本、所述第二文本样本和第一文本识别模型，确定至少一个第一词汇；将所述第一文本样本和所述第二文本样本输入第二文本识别模型，根据所述第二文本识别模型输出的结果，确定至少一个第二词汇；基于所述第一文本样本、所述第一词汇、所述第二词汇和所述主题词库确定至少一个新词。由于从词频、凝固度、自由度以及词组共现关系等不同的角度来挖掘词汇，从而确定的至少一个新词准确性高且稳定，并且由于不需要大量标注数据进行有监督训练，从而可以节约量的人力物力。

技术领域

本发明涉及人工智能技术领域，特别涉及一种基于人工智能的词汇挖掘方法、装置、服务器及存储介质。

背景技术

在人工智能领域中，自然语言处理是一个重要的研究方向，用于研究能够实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理的重点和难点在于如何实现语意理解和文本分析，而语义理解和文本分析的基础是主题词典的建设。而建设主题词典的过程也即是通过词汇挖掘发现新词的过程。

目前，随着机器学习的不断发展，，在自然语言处理领域存在多种基于深度学习进行词汇挖掘获得新词的技术。基于深度学习进行词汇挖掘通常是获取大量的样本数据，在有监督算法的指导下对样本数据进行综合分析，来判断新词产生变化的规律，如检测词语拼读变化、共现词语分布一致性以及情感倾向性等指标来互联网新词的变化规律。

由于基于深度学习的词汇挖掘技术需要大量的标注数据进行有监督的训练，而数据标注会耗费大量的人力物力，并且挖掘结果的准确性与数据标注的准确性正相关，从而导致对数据标注的依赖性大，准确性不稳定。

发明内容

本发明实施例提供了一种基于人工智能的词汇挖掘方法、装置、服务器及存储介质，用于解决目前基于深度学习的词汇挖掘技术需要大量的标注数据进行有监督的训练，而数据标注会耗费大量的人力物力，并且挖掘结果的准确性与数据标注的准确性正相关，从而导致对数据标注的依赖性大，准确性不稳定的问题。所述技术方案如下：

一方面，提供了一种基于人工智能的词汇挖掘方法，其特征在于，所述方法包括：

获取第一文本样本、第二文本样本和主题词库，所述第一文本样本为目标主题对应的包括待挖掘词汇的文本样本，所述第二文本样本为与所述目标主题相似的主题对应的文本样本，所述主题词库包括属于所述目标主题的多个词汇；

根据所述第一文本样本、所述第二文本样本和第一文本识别模型，确定至少一个第一词汇，所述第一词汇为在所述第一文本样本中词频高于第一词频、在所述第二文本样本中词频低于第二词频、凝固度高于目标凝固度且自由度低于目标自由度的词汇；

将所述第一文本样本和所述第二文本样本输入第二文本识别模型，根据所述第二文本识别模型输出的结果，确定至少一个第二词汇，所述第二词汇为在所述第一文本样本中为关键词且在所述第二文本样本中为非关键词的词汇；

基于所述第一文本样本、所述第一词汇、所述第二词汇和所述主题词库确定至少一个新词。

另一方面，提供了一种基于人工智能的词汇挖掘装置，其特征在于，所述装置包括：

获取模块，用于获取第一文本样本、第二文本样本和主题词库，所述第一文本样本为目标主题对应的包括待挖掘词汇的文本样本，所述第二文本样本为与所述目标主题相似的主题对应的文本样本，所述主题词库包括属于所述目标主题的多个词汇；

确定模块，用于根据所述第一文本样本、所述第二文本样本和第一文本识别模型，确定至少一个第一词汇，所述第一词汇为在所述第一文本样本中词频高于第一词频、在所述第二文本样本中词频低于第二词频、凝固度高于目标凝固度且自由度低于目标自由度的词汇；