[发明专利]互联网数据分析系统

说明书

技术领域

本发明涉及数据采集与分析，特别涉及一种互联网数据分析系统。

背景技术

与原有传统互联网形态相比，当今的互联网形态已经发生了巨变，随身移动设备的不断推新，人们已经脱离了老式台式机的传统有线上网模式，移动设备的功能层出不穷，拍照、拍摄视频已经是最基本的功能。人们可以通过移动设备拍摄周围发生的事情，并且可以直接上传到互联网中，其信息的传播速度迅速之极，如果没有合理进行监测，可能会出现非法信息，错误引导公众的判断，导致舆论走向错误的方向。在在舆情检测中，数据采集功能尤为重要，所有数据在采集后，因为数据量极大，需要借助技术手段，在有限的时间内，分析出有用的数据。然而现有的信息监测系统仅应用单一的采集方式，只能满足某种特定的信息分析，不能满足现在互联网中多元化信息分析的需求。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种互联网数据分析系统，包括：

相关性计算模块，用于将随机选择的被选待识别文本和剩余的待识别文本分别作为观测序列和状态序列，计算被选待识别文本和其余待识别文本间的相关性概率值；

分类和识别模块，用于将状态序列中相关性最高的文本和被选待识别文本合并，表征为第一类型，同时将相关性最低的文本作为第二类型；将第一和第二类型作为新的状态序列，将剩余的待识别文本作为新的观测序列进行迭代，以实现敏感词汇的识别。

优选地，所述相关性计算模块进一步包括：

文本表示模块，用于将待识别文本表示为矢量空间模型；其中，所有待识别文本表示为T_n＝{t₁，w₁；t₂，w₂；…；t_i，w_i}，特征词t_i同时出现在待识别文本和词库中，计算其权重w_i并为该权重引入敏感系数β_i：

其中：tf_ni表示第n个文档中关键词t_i出现的频率；K表示总文档数；k_i表示含有关键词t_i的文档数，并且敏感系数β_i表示为：

βi＝-P(C_m)logP(C_m)+P(t_i|C_m)logP(t_i|C_m)+P(t’_i|C_m)l为ogP(t’_i|C_m)

其中：P(C_m)表示属于第m类敏感词汇的文本数；P(t_i|C_m)表示属于第m类敏感词汇并包含关键词t_i的文本数；P(t’_i|C_m)表示属于第m类敏感词汇但不包含关键词t_i的文本数。

优选地，所述相关性计算模块进一步用于：

将y₁，y₂，…，y_n作为敏感词汇类型特征，y＝{y₁，y₂，…，y_i}作为矢量空间模型表示的一个敏感词汇的类型；将x₁，x₂，…，x_n是待识别文本的特征，x＝{x₁，x₂，…，x_i}是用矢量空间模型表示的一个待识别文本，观测序列x对应参数集合Λ＝{λ₁，…，λ_j}的指定状态y的条件概率为：

其中：f_j为特征函数；λ_j为通过训练得到的特征函数的权值；Z(x)为正则化系数，并且：

优选地，所述分类和识别模块进一步配置为：

从K个待识别文本中随机挑出1个作为观测输入序列s，剩余的K-1个待识别文本作为K-1个输出类状态列，计算输入序列中的文档和输出序列中文档之间的概率值，直到识别出所有敏感词汇的类型：