[发明专利]一种内外数据融合的态势分析系统

说明书

本发明涉及一种内外数据融合的态势分析系统，其特征在于，包括数据采集模块；文本量化计算模块；因果滞后分析模块；态势预测模块。本发明可以有效地预测出相关指标的发展态势，即给出当前的互联网新闻等文本数据，可以预测出当前的指标变化趋势。将文本主题分类技术，时差相关分析，回归预测方法结合使用到特定领域态势分析上是一个新的方法创新。由于特定领域的相关统计指标数据往往滞后于互联网新闻等文本数据，根据互联网的文本数据和特定领域历史的统计数据指标，可以较好地预测出特定领域未来的发展态势，有利于特定领域监管部门做出科学的决策。

技术领域

本发明涉及一种互联网大数据与特定领域的内部数据融合与分析的系统。

背景技术

对多源异构数据的融合首先需要实现将非结构化文本数据的量化。目前用于文本量化的主要方法有：情感分析计算新闻文本情感倾向值，主题模型进行主题聚类的方法。Shroff G，Agarwal P，Dey L.Enterprise information fusion for real-time businessintelligence[C](Proceedings of the，International Conference on InformationFusion.IEEE，2011：1-8)和Li J，Xu Z，Xu H，et al.Forecasting Oil Price Trends withSentiment of Online News Articles[J](Procedia Computer Science，2016，91：1081-1087)提出了一种对文本进行情感值计算的方法，该方法需要构建情感词库，然而目前国内基于新闻的情感词典资源对新闻文本的情感分析很差。孔翔宇，毕秀春，张曙光.财经新闻与股市预测-基于数据挖掘技术的实证分析[J](数理统计与管理，2016，35(2)：215-224)提出了利用主题模型对新闻文档进行主题聚类的方法，通过分析阶段主题所占比重量化文本。但该方法利用关注的主题趋势的变化只是在短时间内的，而且得到主题不确定。在因果滞后分析上，目前主要利用时差相关分析的方法，赵黎明，贾永飞，钱伟荣.房地产预警系统研究[J](天津大学学报：社会科学版，1999(4)：277-280)和姜高霞，王文剑.时序数据曲线排齐的相关性分析方法[J](软件学报，2014(9)：2002-2017)运用时差相关分析法筛选出指标，并进行预测。

由于新闻数据与特定领域的指标数据(如自贸区企业经营的健康状况)存在结构不一致性、数据相关影响的滞后性等问题，以上方法不能直接反应出特定领域的发展状况。

发明内容

本发明的目的是：将互联网数据和特定领域内部数据相结合，从而对特定领域的相关指标进行态势评估。

为了达到上述目的，本发明的技术方案是提供了一种内外数据融合的态势分析系统，其特征在于，包括：

数据采集模块，用于从互联网采集特定领域相关的新闻文本数据；

文本量化计算模块，用于将非结构化的新闻文本数据转化成结构化的数值信息，转化时，使用改进的朴素贝叶斯分类算法对新闻文本进行主题提取，根据各新闻主题时间求得各时间段内包含的主题文本数，包括以下步骤：

步骤A1、对给定有k个主题组成的主题集合tc＝{tc₁，tc₂...，tc_k}，利用朴素贝叶斯分类算法对新闻文本数据进行主题分类，分类时，在求得每个主题类别的后验概率P后，计算当前新闻文本数据b的类别判别值dist，若dist＜ε，ε为预先设定的阈值，则将当前新闻文本数据b划为主题类别tc_i：

1≤i，j≤k，式中，P(tc_i|b)表示当前新闻文本数据b属于主题类别tc_i的后验概率，表示当前新闻文本数据b属于主题类别tc_i的最大后验概率；