[发明专利]一种社交网络事件的实时增量式检测方法和系统

摘要

本发明提供一种社交网络事件的实时增量式检测方法和系统，通过采用概率图模型，根据短文本的时间、文档和主题标签，对短文本进行模型学习，获得似然函数；采用EM算法，对似然函数进行求解，获得参数；采用增量更新方式，对所获得的参数进行迭代更新，直至参数收敛；采用分布式方式，根据收敛后的参数执行EM算法中的E步和M步，计算获得短文档的内容，从而解决了现有技术中的事件检测均不能同时适应社交网络中的短文本的实时性、社会化以及碎片化特征，导致检测结果不准确的技术问题。并且，提出了有监督的短文本事件检测模型，增量学习与预测相结合的算法和基于内存计算平台的事件检测模型。

主权项

一种社交网络事件的实时增量式检测方法，其特征在于，包括：采用概率图模型，根据短文本的时间、文档和主题标签，对短文本进行模型学习，获得似然函数；采用期望最大化EM算法，对似然函数进行求解，获得参数；采用增量更新方式，对所获得的参数进行迭代更新，直至参数收敛；采用分布式方式，根据收敛后的参数执行EM算法中的E步和M步，计算获得短文档的内容；其中，所述采用概率图模型，根据短文本的时间、文档和主题标签，对短文本进行模型学习，获得似然函数，包括：采用所述概率图模型，根据短文本的时间td、文档d和主题标签h，对短文本进行模型学习，获得似然函数logl=Σdp(d){λθBp(td|θB)p(h|θB)p(w|θB)}+(1-λθB){Σd∈Hp(d)Σz{p(z|d)p(td|z)p(h|z)Πwp(w|z)n(w,d)}}+(1-λθB){Σd∈H~p(d)Σz{p(z|d)p(td|z)Πwp(w|z)n(w,d)}};]]>其中，H表示含有主题标签的文本集合，表示不含有主题标签的文本集合，θB表示没有实际意义的词的背景主题，n(w,d)表示单词w出现在文档d中的词频；表示一篇文档没有实际意义的概率，p(d)表示文档d出现的概率，在模型中所有的文档d出现的概率是相同的，为文档总数的倒数，p(td|θB)表示背景主题θB出现在时间td的概率，p(h|θB)表示主题标签h出现在背景主题θB中的概率，p(w|θB)表示单词w在背景主题θB中的概率，p(z|d)表示主题z在文档d中的概率；p(td|z)表示主题z在时间td时的概率，p(h|z)表示主题标签h出现在主题z中的概率，p(w|z)表示单词w在主题z中的概率。