[发明专利]确定文本主题相关度的方法、装置及终端设备

说明书

本发明实施例提供了一种确定文本主题关联度的方法、装置及终端设备，其中，确定文本主题关联度的方法，包括：根据预设处理方式，对获取到的第一预设个数的第一文献信息与第二预设个数的第二文献信息分别进行预处理，第一文献信息为第一文本资源对应的文献信息，第二文献信息为第二文本资源对应的文献信息；通过预设的实体‑主题模型，分别从预处理后的第一文献信息及预处理后的第二文献信息中提取主题信息，得到对应的第三预设个数的第一词汇主题与第四预设个数的第二词汇主题；基于第三预设个数的第一词汇主题与第四预设个数的第二词汇主题，确定第一文本资源与第二文本资源的主题关联强度。能够确定存在异构性的文本资源之间的主题关联度。

技术领域

本发明涉及数据挖掘与分析技术领域，具体而言，本发明涉及一种确定文本主题相关度的方法、装置及终端设备。

背景技术

文本型信息资源是指以文字的方式记录在各种载体上的知识和信息资源，它包括图书、期刊、报纸、专利、标准、会议录、政府出版物、学位论文、政策文件、产品资料、科技报告、网页以及科技档案等。尽管这些信息资源具有传递知识、积累经验、交流思想与感情以及提供科学情报等共性功能，但是每种信息资源还有各自独特的功能，从而导致这些信息资源在表述、目的、质量、颗粒度等方面存在异构性。比如，期刊、会议录和学位论文通常被用于测度基础科学研究活动的水平，而专利被用于测度产业技术的创新水平；政策文件和政府出版物一般比较宏观，颗粒度比较粗，而期刊、专利和学位论文等资源一般比较微观，颗粒度比较细。

任何领域通常都会涉及多种类型的信息资源，每种资源被认为从不同视角对该领域进行刻画，如果可以将多种信息资源进行深度融合分析，将能够更加全面地反映相应领域的全貌。然而，由于各种资源间存在的异构性，使得文本型信息资源的深度有机融合分析变得极为困难，于是，如何有效地确定或分析某一领域的任意两种文本型信息资源之间的主题关联度，成为本领域技术人员面临的一个技术难题。

发明内容

本发明的目的旨在至少能解决上述的技术缺陷之一，特别是无法确定某一领域的任意两种文本型信息资源之间的主题关联度的技术缺陷。

本发明的实施例根据一个方面，提供了一种确定文本主题关联度的方法，包括：

根据预设处理方式，对获取到的第一预设个数的第一文献信息与第二预设个数的第二文献信息分别进行预处理，所述第一文献信息为第一文本资源对应的文献信息，所述第二文献信息为第二文本资源对应的文献信息；

通过预设的实体-主题模型，分别从预处理后的第一文献信息及预处理后的第二文献信息中提取主题信息，得到对应的第三预设个数的第一词汇主题与第四预设个数的第二词汇主题；

基于所述第三预设个数的第一词汇主题与所述第四预设个数的第二词汇主题，确定所述第一文本资源与所述第二文本资源的主题关联强度。

优选地，所述预设处理方式包括以下至少一项：

句子切分；分词；命名实体提取；停用词过滤。

优选地，预设的实体-主题模型包括以下任一项：

条件独立潜狄利克雷分配模型CI-LDA；对应潜狄利克雷分配模型1 CorrLDA1；对应潜狄利克雷分配模型2 CorrLDA2；开关潜狄利克雷分配模型SwitchLDA；纳入类别的对应潜狄利克雷分配模型2 CCorrLDA2。

优选地，若所述预设的实体-主题模型为所述CCorrLDA2，所述基于所述第三预设个数的第一词汇主题与所述第四预设个数的第二词汇主题，确定所述第一文本资源与所述第二文本资源的主题关联强度，包括：

基于预设模型推断方法，通过所述第三预设个数的第一词汇主题与所述第四预设个数的第二词汇主题，估计所述CCorrLDA2的模型参数；