[发明专利]一种高效分布式大数据数据采集实现方法及系统

权利要求书

1.一种高效分布式大数据数据采集实现方法，其中，所述方法包括：

获得第一视频信息；

对所述第一视频信息进行特征提取，获得所述第一视频信息的文字特征、语音特征和视觉特征；

分别对所述文字特征、所述语音特征和所述视觉特征进行主成分分析，获得第一主成分特征集合，具体包括：对第一特征数据集进行去中心化处理，获得第二特征数据集；

获得所述第二特征数据集的第一协方差矩阵；

对所述第一协方差矩阵进行运算，获得所述第一协方差矩阵的第一特征值和第一特征向量；

将所述第一特征数据集投影到所述第一特征向量，获得第一降维数据集，其中所述第一降维数据集为所述第一主成分特征集合；

通过大数据获得第一视频集合，所述第一视频集合包括与所述第一主成分特征集合相匹配的视频集合；

根据所述第一主成分特征集合对所述第一视频集合进行主成分特征数据采集，其中，所述根据所述第一主成分特征集合对所述第一视频集合进行主成分特征数据采集之前，包括：

对所述第一视频集合按照所述文字特征、所述语音特征和所述视觉特征进行决策树分类，获得第一分类结果，具体包括：对所述文字特征进行信息编码运算，获得第一特征信息熵；

对所述语音特征进行信息论编码运算，获得第二特征信息熵，对所述视觉特征进行信息论编码运算，获得第三特征信息熵；

将所述第一特征信息熵、所述第二特征信息熵以及所述第三特征信息熵输入数据大小比对模型进行训练，获得第一根节点特征信息；

基于所述第一根节点特征信息和所述第一视频集合的递归算法，构建所述第一视频集合的决策树；

根据所述决策树，获得第一分类结果，具体包括：将所述第一视频集合输入所述决策树，获得所述第一视频集合的所述第一分类结果，所述第一分类结果包括视觉特征类别、音频特征类别和文字特征类别；

根据所述第一主成分特征集合对所述第一分类结果进行主成分特征数据采集；

将所述第一视频集合中的与所述第一主成分特征集合相匹配的特征类别集合作为输入数据，输入神经网络模型，将所述第一主成分特征集合作为监督数据，获得输出结果，所述输出结果包括主成分特征数据。

2.一种高效分布式大数据数据采集实现系统，其中，所述系统包括：

第一获得单元：所述第一获得单元用于获得第一视频信息；

第一提取单元：所述第一提取单元用于对所述第一视频信息进行特征提取，获得所述第一视频信息的文字特征、语音特征和视觉特征；第一分析单元：所述第一分析单元用于分别对所述文字特征、所述语音特征和所述视觉特征进行主成分分析，获得第一主成分特征集合，具体包括：第一处理单元：所述第一处理单元用于对第一特征数据集进行去中心化处理，获得第二特征数据集；

第三获得单元：所述第三获得单元用于获得所述第二特征数据集的第一协方差矩阵；

第一运算单元：所述第一运算单元用于对所述第一协方差矩阵进行运算，获得所述第一协方差矩阵的第一特征值和第一特征向量；

第一投影单元：所述第一投影单元用于将所述第一特征数据集投影到所述第一特征向量，获得第一降维数据集，其中所述第一降维数据集为所述第一主成分特征集合；

第二获得单元：所述第二获得单元用于通过大数据获得第一视频集合，所述第一视频集合包括与所述第一主成分特征集合相匹配的视频集合；

第一采集单元：所述第一采集单元用于根据所述第一主成分特征集合对所述第一视频集合进行主成分特征数据采集，其中，所述根据所述第一主成分特征集合对所述第一视频集合进行主成分特征数据采集之前，包括：

第一分类单元：所述第一分类单元用于对所述第一视频集合按照所述文字特征、所述语音特征和所述视觉特征进行决策树分类，获得第一分类结果，具体包括：第二运算单元：所述第二运算单元用于对所述文字特征进行信息编码运算，获得第一特征信息熵；

第三运算单元：所述第三运算单元用于对所述语音特征进行信息论编码运算，获得第二特征信息熵，对所述视觉特征进行信息论编码运算，获得第三特征信息熵；

第一输入单元：所述第一输入单元用于将所述第一特征信息熵、所述第二特征信息熵以及所述第三特征信息熵输入数据大小比对模型进行训练，获得第一根节点特征信息；

第一构建单元：所述第一构建单元用于基于所述第一根节点特征信息和所述第一视频集合的递归算法，构建所述第一视频集合的决策树；

第四获得单元：所述第四获得单元用于根据所述决策树，获得第一分类结果，具体包括：第二输入单元：所述第二输入单元用于将所述第一视频集合输入所述决策树，获得所述第一视频集合的所述第一分类结果，所述第一分类结果包括视觉特征类别、音频特征类别和文字特征类别；

第二采集单元：所述第二采集单元用于根据所述第一主成分特征集合对所述第一分类结果进行主成分特征数据采集；

第三输入单元：所述第三输入单元用于将所述第一视频集合中的与所述第一主成分特征集合相匹配的特征类别集合作为输入数据，输入神经网络模型，将所述第一主成分特征集合作为监督数据，获得输出结果，所述输出结果包括主成分特征数据。

3.一种高效分布式大数据数据采集实现系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现权利要求1所述方法的步骤。