[发明专利]一种高效分布式大数据数据采集实现方法及系统

说明书

本发明公开了一种高效分布式大数据数据采集实现方法及系统，其中，所述方法包括：获得第一视频信息；对所述第一视频信息进行特征提取，获得所述第一视频信息的文字特征、语音特征和视觉特征；分别对所述文字特征、所述语音特征和所述视觉特征进行主成分分析，获得第一主成分特征集合；通过大数据获得第一视频集合，所述第一视频集合包括与所述第一主成分特征集合相匹配的视频集合；根据所述第一主成分特征集合对所述第一视频集合进行主成分特征数据采集。解决了现有技术中的无法对海量数据进行分布式的高效采集，使得采集得到的目标数据精确度不高的技术问题。

技术领域

本发明涉及数据采集领域，具体地，涉及一种高效分布式大数据数据采集实现方法及系统。

背景技术

在互联网行业快速发展的今天，数据采集已经被广泛应用于互联网及分布式领域，数据采集领域已经发生了重要的变化。数据采集系统是结合基于计算机或者其他专用测试平台的测量软硬件产品来实现灵活的、用户自定义的测量系统。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

现有技术中存在无法对海量数据进行分布式的高效采集，使得采集得到的目标数据精确度不高的技术问题。

发明内容

针对现有技术中的缺陷，本申请实施例的目的是，通过提供一种高效分布式大数据数据采集实现方法及系统，解决了现有技术中的无法对海量数据进行分布式的高效采集，使得采集得到的目标数据精确度不高的技术问题。通过对比所述第一主成分特征集合，对所述第一视频集合进行去冗杂处理，以便于对文字、语音以及视觉特征进行有效提取，进而确保对采集的数据进行直接应用，达到了对源数据进行高效分布式采集，进而确保采集到的目标数据具备精准科学性的技术效果。

一方面，本申请实施例提供一种高效分布式大数据数据采集实现方法，其中，所述方法包括：获得第一视频信息；对所述第一视频信息进行特征提取，获得所述第一视频信息的文字特征、语音特征和视觉特征；分别对所述文字特征、所述语音特征和所述视觉特征进行主成分分析，获得第一主成分特征集合；通过大数据获得第一视频集合，所述第一视频集合包括与所述第一主成分特征集合相匹配的视频集合；根据所述第一主成分特征集合对所述第一视频集合进行主成分特征数据采集。

另一方面，本申请还提供了一种高效分布式大数据数据采集实现系统，其中，所述系统包括：第一获得单元：所述第一获得单元用于获得第一视频信息；第一提取单元：所述第一提取单元用于对所述第一视频信息进行特征提取，获得所述第一视频信息的文字特征、语音特征和视觉特征；第一分析单元：所述第一分析单元用于分别对所述文字特征、所述语音特征和所述视觉特征进行主成分分析，获得第一主成分特征集合；第二获得单元：所述第二获得单元用于通过大数据获得第一视频集合，所述第一视频集合包括与所述第一主成分特征集合相匹配的视频集合；第一采集单元：所述第一采集单元用于根据所述第一主成分特征集合对所述第一视频集合进行主成分特征数据采集。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

获得第一视频信息；对所述第一视频信息进行特征提取，获得所述第一视频信息的文字特征、语音特征和视觉特征；分别对所述文字特征、所述语音特征和所述视觉特征进行主成分分析，获得第一主成分特征集合；通过大数据获得第一视频集合，所述第一视频集合包括与所述第一主成分特征集合相匹配的视频集合；根据所述第一主成分特征集合对所述第一视频集合进行主成分特征数据采集。通过对比所述第一主成分特征集合，对所述第一视频集合进行去冗杂处理，以便于对文字、语音以及视觉特征进行有效提取，进而确保对采集的数据进行直接应用，达到了对源数据进行高效分布式采集，进而确保采集到的目标数据具备精准科学性的技术效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明