[发明专利]基于大数据的国际产能合作风险评估与决策服务系统

权利要求书

1.基于大数据的国际产能合作风险评估与决策服务系统，其特征在于，包括：

分布式结构/非结构数据库，用于结构化数据、半结构化数据和非结构化数据的分布式存储，实现PB级多源异构大数据的批量和流式处理；

数据接入层，用于通过各种标准通信接口，接收前端数据采集模块采集的数据，并将采集到的数据按照标准格式自动录入分布式结构/非结构数据库；

信息采集和预处理层，用于采集预定的数据并对采集的数据进行预处理，对数据进行格式统一和语义理解，使用数据挖掘技术，挖掘提炼出有效信息，并提取信息关键词，构建索引；

其中，预定的数据来源包括有卫星遥感数据，互联网开源信息，智库业务数据以及能源、环境、政策、法律、经济的调研数据；

分析层，用于从实时信息流中识别有价值的信息内容，以文本形式保存，并对文本进一步加工，然后分别把针对国别风险、行业分析、国际舆情分析的信息进行聚类，并以信息表的形式展示，以为用户提供可靠情报；

应用层，用于为查询用户提供查询检索功能，将检索查询的信息进行多维可视化输出，生成相应的报告；

所述分析层采用基于认知计算的多源异构数据融合技术以及大图结构建模与关联分析方法来处理数据：

所述基于认知计算的多源异构数据融合技术包括：

基于深度学习进行跨模态多源数据融合，实现跨模态数据的特征提取、概念融合与联合语义分析，针对大规模、多源、异构化流数据信息，整合文本信息与动态网络结构特征，实现面向事件、话题与群体的在线跟踪和评估；

基于认知计算的知识表示，模拟人脑对知识获取、存储和激活的方式，实现概念层级构建、推理规则及高层认知结构表示；

所述大图结构建模与关联分析方法，包括大图的结构表示与建模、大图的计算及大图的关联分析；

在大图的结构表示与建模方面，根据基于顶点切割的分布式大图表示策略，采用负载节点上边数和顶点数联合最小化的策略，进行大图的结构表示与建模；

在大图的计算方向，将矩阵和向量操作转化为临近节点间的信息迭代交互，以实现多种图算法的集成，包括PageRank、特征值求解、联通子图统计；对于每种图算法，根据计算目标选取最优计算策略，包括基于随机变分，通过随机自然梯度上升算法进行变分推理来选取最优计算策略；

在大图的关联分析方面，考虑节点在图中的位置及节点随时间的动态变化因素，构建节点、子图及边的时变转移矩阵，根据时序模式下的转移熵关联监测与分析技术，针对不同类型的图结构，计算不同节点、子图及边的直接关联与间接关联性。

2.如权利要求1所述基于大数据的国际产能合作风险评估与决策服务系统，其特征在于，其中，在对互联网开源信息采集方面，采用聚焦爬虫对网上信息页面自动分类、识别和采集；通过网页判别模块，根据人工预设主题词库，自动识别目标网站中的信息页面，将通过爬虫采集的信息需要通过网页去噪模块滤除夹杂在网页正文内容周边的同正文内容无关的信息，包括广告信息、导航信息、著作权信息、页眉页脚信息；在网络爬虫爬行过程中，通过网页消重模块进行数据消重处理；

在卫星遥感信息采集方面，对卫星遥感图像进行校正恢复、增强变换、图像镶嵌、特征提取、图像分类操作，对图像中引入的噪声与畸变进行消除；增强变换即突出数据的预定特征，包括彩色增强、反差增强、边缘增强、密度分割、比值运算、去模糊；图像镶嵌即对一幅或若干幅图像通过几何镶嵌、色调调整、去重叠处理后，镶嵌到一起生成一幅完整图像；特征提取，即从经过增强处理的影像中提取有用的遥感信息，包括采用统计分析、集群分析、频谱分析技术自动识别与分类。