[发明专利]一种多方位大数据采集整理系统及方法

说明书

本发明属于大数据领域，公开了一种多方位大数据采集整理系统及方法，包括主控模块、数据采集模块、数据收集存储模块、数据分析模块和曲线绘制模块。本发明通过利用数据采集模块采集数据，并对数据进行分类分级，记录所标记矩形框区域的信息，而且本发明采用速度更快，泛化能力更强的深度学习YOLO模型，在数据采集整理方面做能够更加快速，更加系统化。数据收集存储模块在主控模块的控制下利用分布式以太网保存参数。并且利用数据分析模块通过带权重的神经网络对数据进行分析处理，利用曲线绘制模块绘制变化曲线图。本发明结构合理，可以有效提高数据采集整理的效率。

技术领域

本发明属于大数据领域，特别涉及一种多方位大数据采集整理系统及方法。

背景技术

随着云时代的来临，大数据也吸引了越来越多的关注。实时的大型数据集分析需要大量的工作，需要分析更大的数据量，对算法和计算平台的挑战加大，计算开销大增。而且因为数据噪音的存在，会产生很多无用的数据，导致数据价值大大降低。所以从各种各样类型的数据中，快速获得有价值的信息就显得尤为重要。

综上所述，现有技术存在的问题是

训练网络效率低且泛化能力不高，一般数据存储器可靠性低，传输具有极大的延时性；对数据进行分类整理时，分类混乱，精度不高，且学习时间长。

发明内容

本发明的主要目的在于提供一种多方位大数据采集整理系统及方法，利用数据采集模块采集数据，并对数据进行分类分级，记录所标记矩形框区域的信息，而且本发明采用速度更快，泛化能力更强的深度学习YOLO模型，在数据采集整理方面做能够更加快速，更加系统化。数据收集存储模块在主控模块的控制下利用分布式以太网保存参数。并且利用数据分析模块通过带权重的神经网络对数据进行分析处理，利用曲线绘制模块绘制变化曲线图。可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：一种多方位大数据采集整理方法，所述多方位大数据采集整理方法包括：

收集一定数量的数据，对数据进行分类分级，记录所标记矩形框区域的信息，作为训练数据集；

对训练数据用深度学习YOLO模型进行训练，并使用随机抽取样本对模型的分类性能进行测试，对模型进行参数调整；

利用带权重的神经网络对数据进行分析处理；并利用分布式以太网保存参数；

利用数据处理程序绘制变化曲线图。

进一步，带权重的神经网络包括：

(1)确定n个样本的聚类中心C_i(i＝1,2，…，m,m≤n)，m为隐节点的个数，n为样本总数；

(2)确定径向基函数的半径σ_i(i＝1,2，…，m)，方法如下：

其中，i＝1,2，…，m，m为隐节点的个数，Γ_i为属于核函数中心的C_i样本集合，N_i为集合Γ_i的元素个数；

(3)用随机数初始化连接权值w_i(i＝1,2，…，m)；

(4)用下式模型求出n个输入样本所对应的n个输出，F¹(x)、 F²(x)…Fⁿ(x)：

(5)采用梯度下降算法来修正权值：

设d^j(j＝1,2，…，n)为第j个样本的目标输出，F^j(j＝1,2，…，n) 为实际输出，求出网络误差e^j；