[发明专利]一种基于大数据分析的核心语汇专题构建方法及系统

说明书

本发明属于计算机软件技术领域，公开了一种基于大数据分析的核心语汇专题构建方法及系统，用户指定专题的初始关键词或者关键词集合；专题相关文档的获取；从专题相关文档集合中自动发现候选核心语汇集合及其关系，形成专题候选核心语汇图谱；人工干预候选专题中的核心语汇，形成最终的专题输出。本发明能够快速地形成专题级的核心语汇集合，能够大幅度降低专家构建专题的时间，同时提高专题构建的覆盖率和及时性，有利于资源的快速建设和系统的推广。

技术领域

本发明属于计算机软件技术领域，尤其涉及一种基于大数据分析的核心语 汇专题构建方法及系统。

背景技术

目前，业内常用的现有技术是这样的：“中国核心语汇”是一个将涵盖中 国政治、经济和文化等领域的中国语汇，通过权威、标准的多语种翻译与解读 方式，向国际社会传递最准确的中国表述和解读的互联网大数据语料库。平台 为实施中华文化走出去战略，传播正确中国声音，促进国际出版，引导媒体传 播等提供开放的公共服务；让国际社会通过平台获取准确的中国语汇表达方式， 让世界了解真实的中国。传统的方法往往是专家选定主题，然后根据经验挑选 一系列的相关核心语汇，人工构建它们之间的关系，往往耗时耗力，且覆盖率 和及时性不高。

综上所述，现有技术存在的问题是：传统的方法往往是专家选定主题，根 据经验挑选一系列的相关核心语汇，人工构建它们之间的关系，往往耗时耗力， 且覆盖率和及时性不高。

发明内容

针对现有技术存在的问题，本发明提供了一种基于大数据分析的核心语汇 专题构建方法及系统。

本发明是这样实现的，一种基于大数据分析的核心语汇专题构建方法，其 特征在于，所述基于大数据分析的核心语汇专题构建方法包括：用户指定专题 的初始关键词或者关键词集合；专题相关文档的获取；从专题相关文档集合中 自动发现候选核心语汇集合及其关系，形成专题候选核心语汇图谱；人工干预 候选专题中的核心语汇，形成最终的专题输出。

进一步，所述专题相关文档的获取进一步包括：通过专题关键词检索相关 文档，基于返回的结果M篇文档，计算专题的伪相关模型：

其中tw_mi表示第m个文档中第i个特征词的权重，权重采用TF-IDF来计算， ＜tw_m1,tw_m2,...,tw_mn＞表示第m篇文档的VSM向量；

利用M_p-topic模型对相关文档计算相关度，重排序后选出专题相关的最终文档 集合前P篇，并重新计算专题模型：

进一步，所述从专题相关文档集合中自动发现候选核心语汇集合及其关系， 形成专题候选核心语汇图谱进一步包括：基于专题相关文档，提取关键词作为 特征词；将特征词作为节点构建特征图G＝＜V,E＞，其中V表示节点集合，E表 示特征词的边集合；两个特征词v₁和v₂在一个句子中存在，则存在一条边 e₁₂＝＜v₁,v₂＞。边上的权重表示之间共现的次数；基于TextRank算法，计算每个 词的权重：