[发明专利]一种大数据处理方法及系统

权利要求书

1.一种大数据处理方法，其特征在于，所述大数据处理方法包括：

根据边缘数据采集规则进行数据采集；

利用人工智能模型对采集的数据进行数据处理，获得处理后的数据；

对处理后的数据进行动态知识图谱创建和异构数据存储；包括：

确定数据集成的数据模型；

通过所述数据模型获取处理后的数据的数据图表；

根据分布式图处理框架将所述数据图表拆分为子图；

对所述子图进行迭代计算，确定数据集；

配置数据访问函数和接口，构成动态知识图谱；

针对动态知识图谱定义数据存储形式；

将处理后的数据转换成定义的数据存储形式进行存储；

在信息空间上对结构、状态和行为进行可视化孪生；

采用虚拟化云操作，进行虚拟资源动态调度、资源可信管理和资源运行状态管控。

2.根据权利要求1所述的方法，其特征在于，所述数据采集采集的数据格式包括图像、视频、文本和音频。

3.根据权利要求1所述的方法，其特征在于，所述根据边缘数据采集规则进行数据采集，包括：

基于光学系统的倾斜边缘计算方法进行数据采集；

对采集的数据进行数据清洗；

根据分布式异构数据源对清洗后的采集数据进行语义集成；

根据采集的数据及语义集成的结果进行数据传输消息队列管理，并对数据进程状态实时监控。

4.根据权利要求1所述的方法，其特征在于，所述利用人工智能模型对采集的数据进行数据处理，包括：

对采集的数据利用人工智能模型获取数据的特征；

根据所述的数据特征获取所述采集的数据的分布规律；

根据所述数据的特征及规律生成可视化算法模型库。

5.根据权利要求4所述的方法，其特征在于，所述对采集的数据利用人工智能模型获取数据的特征，包括：

步骤1、整理采集的数据；

将采集的数据记为矩阵S，矩阵S可表示为：

其中，ɑ_ij为采集的关于属性i第j型数据，i和j取值均为从1到n，n为所述采集的数据的属性数目，也是所述采集的数据的类型数目；

步骤2、根据下述公式，对采集的数据矩阵进行第一处理；

其中，S′为采集的数据矩阵S第一处理后的对应矩阵，ɑ_ij为采集的关于属性i的第j类型数据，i和j的取值均为从1到n，n为所述采集的数据的属性数目，也是所述采集的数据的类型数目；

步骤3、根据下述公式计算协方差；

其中，R为S′的协方差矩阵，T为转置符号，n为所述采集的数据的矩阵的阶数；

步骤4、对协方差矩阵R进行特征分解，得到特征值；

其中，λ_p为协方差矩阵的特征值，p的取值为从1到k，k为特征值的数目；

步骤5、根据λ_pR-E得到特征值分别对应的特征向量，并构成协方差矩阵R子空间的基W，，d为子空间的维数也是特征向量的数目；

步骤6、得到数据特征；

其中，D为数据的特征矩阵，W为协方差矩阵R子空间的基，S′为采集的数据矩阵S第一处理后的对应矩阵。