[发明专利]一种突发话题检测系统及方法

权利要求书

1.一种突发话题检测方法，其特征在于，包括以下步骤：

S1：文本数据输入：读取需要进行话题突发性检测的文本数据文件；

S2：文本数据预处理，包括以下子步骤：

S21：如果文本数据是中文文档则对文本进行分词处理后进入步骤S22；如果文本是英文文档则直接进入步骤S22；

S22：去除停用词；

S3：话题检测及话题突发性评估；

S4：突发话题检测结果输出。

2.根据权利要求1所述的一种情感分析方法，其特征在于，步骤S2所述文本数据预处理采用word2vector向量方式进行词嵌入。

3.根据权利要求1所述的一种情感分析方法，其特征在于，步骤S2所述文本数据预处理采用bert向量方式进行词嵌入。

4.根据权利要求1所述的一种情感分析方法，其特征在于，步骤S3所述话题检测采用LAD模型算法，得到一个文档在主题空间的一个向量表示，通过计算该向量与之前其他文本在主题空间的向量表示之间的距离，可以判断该文本样本是否属于新的话题。

5.根据权利要求1所述的一种情感分析方法，其特征在于，步骤S3所述话题突发性评估采用Kleinberg模型算法，在LDA模型算法基础上，将一定时间片内出现的话题文档组成一个序列，然后对这个序列进行处理，得到一个新的话题状态序列，通过这个话题状态序列来判断该话题是否属于突发话题。

6.一种突发话题检测系统，其特征在于，包括文本数据输入模块、文本数据预处理模块、突发话题检测算法模块和突发话题检测结果输出模块；

文本数据输入模块用于读取需要进行突发话题检测的文本数据文件；

文本数据预处理模块用于对加载的文本数据进行预处理；

突发话题检测算法模块用于计算文本数据的突发性；

突发话题检测结果输出模块用于突发话题检测结果输出。

7.根据权利要求6所述的一种突发话题检测系统，其特征在于，所述文本数据预处理模块包括word2vector处理模块。

8.根据权利要求6所述的一种突发话题检测系统，其特征在于，所述文本数据预处理模块包括Bert处理模块。

9.根据权利要求6所述的一种突发话题检测系统，其特征在于，所述突发话题检测算法模块包括LAD算法模块和Kleinberg算法模块；LAD算法模块用于话题检测，Kleinberg算法模块用于突发性评估。

10.根据权利要求8所述的一种突发话题检测系统，其特征在于，还包括一个由DOCKER容器技术搭建的web服务系统；通过在DOCKER容器级别的WEB服务层，以HTTP形式提供基于Restful风格的WEB服务。

11.根据权利要求6-10任一所述的一种突发话题检测系统，其特征在于，还包括出错处理模块，出错处理模块用于显示出错信息，并在出现文本数据集合过大，造成内存溢出时，系统内部数据全部回滚到出错前状态。

12.根据权利要求11所述的一种突发话题检测系统，其特征在于，所述出错信息包括出错时间、出错等级、出错原因和出错地点。