[发明专利]一种舆情监测的方法、装置及系统

权利要求书

1.一种舆情监测的方法，其特征在于，包括：

获取多个原始舆情信息；

对所述原始舆情信息进行去标签、清洗处理，得到舆情处理信息；

将所述舆情处理信息进行缓存，通过文本分析进行识别标注，得到与所述原始舆情信息对应的标注舆情信息；

所述通过文本分析进行识别标注，得到与所述原始舆情信息对应的标注舆情信息包括：对舆情处理信息进行分词，将分词后的舆情处理信息在地域词典中进行匹配，若匹配成功则对所述舆情处理信息进行地域标注，得到地域舆情处理信息；根据所述地域舆情处理信息出现的位置以及频次，获得所述地域舆情处理信息对应的评分；根据所述评分的大小依次进行排序，并将最高评分对应的所述地域舆情处理信息进行地域标注，得到与原始舆情信息对应的标注舆情信息；所述地域词典通过获取地域词汇，并将所述地域词汇整理构建获得；

获取舆情处理信息中的摘要文本信息，提取、标注所述摘要文本信息中的转折句，得到与所述原始舆情信息对应的标注舆情信息；

对所述摘要文本信息中每个摘要语句求取相似性；

获取最高相似性对应的摘要语句并删除，得到保留摘要语句并进行标注，得到与所述原始舆情信息对应的标注舆情信息；

其中，所述对所述摘要文本信息中每个摘要语句求取相似性包括：采用关键字提取TextRank公式和相似程度计算公式对每个摘要语句求取相似性；

所述TextRank公式为：

式中，TextRank公式左边表示一个摘要句子的权重(WS是weight_sum的缩写)，右侧的求和表示每个相邻摘要句子对本摘要句子的贡献程度，wji表示两个句子的相似程度，WS(Vj)代表上次迭代j的权重，Vi表示某个网页，Vj表示链接到Vi的网页，In(Vi)表示网页Vi的所有入链的集合，Out(Vj)表示网页的所有出链的集合，d表示阻尼系数；

所述相似程度计算公式为：

式中，fi是词在文章中的出现次数，dl是文章长度，avgdl是文章平均长度，IDF为逆向文本频率表示词普遍重要性的度量，Q表示查询Query，qi表示Q解析之后的一个语素，d表示一个搜索结果文本，k1和b均为人为设置的调节因子。

2.根据权利要求1所述的方法，其特征在于，通过文本分析进行识别标注，得到与所述原始舆情信息对应的标注舆情信息，包括：

将所述舆情处理信息划分为第一类文本信息、第二类文本信息；

对所述第二类文本信息进行干扰项排除处理，通过机器学习模型对所述第二类文本信息进行监督分类，获取正向舆情信息并标注，得到与所述原始舆情信息对应的标注舆情信息；其中机器学习模型采用情感词库作为训练数据集进行监督训练，以输出分类为正向舆情信息的机器学习模型。

3.根据权利要求1所述的方法，其特征在于，通过文本分析进行识别标注，得到与所述原始舆情信息对应的标注舆情信息，包括：

获取舆情处理信息中多个文本信息，且所述文本信息包括多个主题信息；

所述文本信息、所述主题信息的分布参数分别服从Dirichlet分布；

根据所述文本信息的分布参数服从Dirichlet分布，生成对应的主题信息；

根据所述主题信息的分布参数服从Dirichlet分布，生成对应的词信息；

遍历所述的文本信息、主题信息生成所述主题信息对应的词信息；得到与原始舆情信息对应的标注舆情信息。

4.根据权利要求1所述的方法，其特征在于，通过文本分析进行识别标注，得到与所述原始舆情信息对应的标注舆情信息，包括：

将舆情处理信息中对应的文本信息以及标题信息进行分词处理，得到与所述文本信息、所述标题信息分别对应的词袋向量；

将所述词袋向量作为特征计算所有文本信息的相似性，通过聚类删除相似性低于预设阈值的文本信息以及标题信息，并将保留的文本信息以及标题信息进行标注，得到与所述原始舆情信息对应的标注舆情信息。

5.根据权利要求1-4中任一项所述的方法，其特征在于，获取多个原始舆情信息，包括：

按照预设规则，从多个网络资源中获取原始舆情信息；

或者通过API接口获取原始舆情信息。

6.根据权利要求1所述的方法，其特征在于，在得到与所述原始舆情信息对应的标注舆情信息之后，还包括：

将所述标注舆情信息与所述原始舆情信息存储于全文搜索引擎中，以便在交互界面上搜索显示所述标注舆情信息对应的原始舆情信息。