[发明专利]互联网数据分析系统

摘要

本发明提供了一种互联网数据分析系统，该系统包括相关性计算模块，用于将随机选择的被选待识别文本和剩余的待识别文本分别作为观测序列和状态序列，计算被选待识别文本和其余待识别文本间的相关性概率值；分类和识别模块，用于将状态序列中相关性最高的文本和被选待识别文本合并，表征为第一类型，同时将相关性最低的文本作为第二类型；将第一和第二类型作为新的状态序列，将剩余的待识别文本作为新的观测序列进行迭代，以实现敏感词汇的识别。本发明提出了一种信息监测分析系统，对互联网舆情进行多维监测，有效采集和分析出敏感信息，提高了查准率和查全率。

主权项

一种互联网数据分析系统，其特征在于，包括：相关性计算模块，用于将随机选择的被选待识别文本和剩余的待识别文本分别作为观测序列和状态序列，计算被选待识别文本和其余待识别文本间的相关性概率值；分类和识别模块，用于将状态序列中相关性最高的文本和被选待识别文本合并，表征为第一类型，同时将相关性最低的文本作为第二类型；将第一和第二类型作为新的状态序列，将剩余的待识别文本作为新的观测序列进行迭代，以实现敏感词汇的识别；所述相关性计算模块进一步用于：将y1，y2，…，yn作为敏感词汇类型特征，y＝{y1，y2，…，yi}作为矢量空间模型表示的一个敏感词汇的类型；将x1，x2，…，xn作为待识别文本的特征，x＝{x1，x2，…，xi}是用矢量空间模型表示的一个待识别文本，观测序列x对应参数集合Λ＝{λ1，…，λj}的指定状态y的条件概率为：其中：fj为特征函数；λj为通过训练得到的特征函数的权值；Z(x)为正则化系数，n为敏感词汇类型特征和待识别文本特征的维度，并且：所述分类和识别模块进一步配置为：从K个待识别文本中随机挑出1个作为观测输入序列s，剩余的K‑1个待识别文本作为K‑1个输出类状态列，计算输入序列中的文档和输出序列中文档之间的概率值，直到识别出所有敏感词汇的类型：a)将得到的K‑1个概率值排序，最大概率值所对应的文本与输入观测序列中 的文本归并为一类并记做类C1，同时将最小概率值对应的文本记做类C2；b)将剩余的K‑3个待识别文本作为输入观测序列，C1和C2作为输出类状态列，这样得到待识别文本隶属于C1和C2类的两个概率值；c)对每个待识别文本与输出类状态列的各个概率值求方差并排序；d)查看最小方差值所对应的文本的所有概率值，若其中最小的概率值小于某一阈值θ，则将其作为一个新的类C3；否则，查看方差值位于第二位的文本，直到找到概率值小于阈值θ的文本，同时将最大方差值所对应的文本归并到最大概率所对应的类型；e)重复步骤b)～d)，直到所有的文本都被归类。