[发明专利]一种大数据处理方法及系统

说明书

本发明提供一种大数据处理方法及系统，其中，方法包括：根据边缘数据采集规则进行数据采集；利用人工智能模型对采集的数据进行数据处理，获得处理后的数据；对处理后的数据进行动态知识图谱创建和异构数据存储；在信息空间上对结构、状态和行为进行可视化孪生；采用虚拟化云操作，进行虚拟资源动态调度、资源可信管理和资源运行状态管控。所述系统包括与方法步骤对应的模块。本发明提供的一种大数据处理方法采用边缘计算、人工智能和可视化孪生技术，能够避免数据冗余、缺失、冲突的问题。

技术领域

本发明涉及大数据处理技术领域，特别涉及一种大数据处理方法及系统。

背景技术

随着物联网、社交媒体等新兴技术的快速发展，大数据时代已经逐渐到来，数据产生和传播的速度不断加快，数据的价值也会快速下降。如何获取庞大数据组并从中获取有价值的数据是大数据处理解决的问题。目前，在大数据处理技术中已经实现了大数据流数据的采集与处理，大数据处理应用于各行各业。但是，大数据处理过程中往往会出现数据冗余、缺失、冲突的问题，因此，提出一种采用边缘计算、人工智能和可视化孪生技术的大数据处理方法及系统，避免数据冗余、缺失、冲突的问题，实现数据驱动的信息-实体空间深度融合。

发明内容

本发明提供一种大数据处理方法及系统，用以解决大数据处理过程中往往会出现数据冗余、缺失、冲突的问题。

一种大数据处理方法，所述方法包括：

根据边缘数据采集规则进行数据采集；

利用人工智能模型对采集的数据进行数据处理，获得处理后的数据；

对处理后的数据进行动态知识图谱创建和异构数据存储；

在信息空间上对结构、状态和行为进行可视化孪生；

采用虚拟化云操作，进行虚拟资源动态调度、资源可信管理和资源运行状态管控。

优选地，所述数据采集采集的数据格式包括图像、视频、文本和音频。

优选地，所述根据边缘数据采集规则进行数据采集，包括：

基于光学系统的倾斜边缘计算方法进行数据采集；

对采集的数据进行数据清洗；

根据分布式异构数据源对清洗后的采集数据进行语义集成；

根据采集的数据及语义集成的结果进行数据传输消息队列管理，并对数据进程状态实时监控。

优选地，所述利用人工智能模型对采集的数据进行数据处理，包括：

对采集的数据利用人工智能模型获取数据的特征；

根据所述的数据特征获取所述采集的数据的分布规律；

根据所述数据的特征及规律生成多样化的可视化算法模型库。

优选地，所述对采集的数据利用人工智能模型获取数据的特征，包括：

步骤1、整理采集的数据；

将采集的数据记为矩阵S，矩阵S可表示为：

其中，a_ij为采集的关于属性i的第j类型数据，i和j的取值均为从1到n，n为所述采集的数据的属性数目，也是所述采集的数据的类型数目；

步骤2、根据下述公式，对采集的数据矩阵进行第一处理；

其中，S'为采集的数据矩阵S第一处理后的对应矩阵，a_ij为采集的关于属性i的第j类型数据，i和j的取值均为从1到n，n为所述采集的数据的属性数目，也是所述采集的数据的类型数目；