[发明专利]一种基于大数据平台的数据处理方法及装置

说明书

本发明公开了一种基于大数据平台的数据处理方法，包括如下步骤：S1、基于各目标数据采集模块实现目标数据的采集；S2、采用基于Hadoop的粗糙集快速属性约简算法实现目标数据的预处理；S3、采用基于类间区分度的属性约简算法实现目标数据的特征数据的提取；S4、基于LSSVM根据所述特征数据实现目标数据的分类；S5、基于目标数据的分类结果调用对应的分析模板，根据分析模板调用对应的分析模型实现目标数据的分析；S6、将完成预处理的目标数据及其对应的分析结果填入预制的模板内，生成对应的分析报告。本发明提高了大规模数据的分析效率，从而可以将纷繁多样的海量数据转换成具有信息和商业价值的可用数据。

技术领域

本发明涉及大数据分析领域，具体涉及一种基于大数据平台的数据处理方法及装置。

背景技术

大数据、云计算、“互联网+”已成为创新发展的新趋势，在大数据条件下，企业的每个系统就会产生成千上万的数据，虽然现在有很多传统的日志或者其他专业工具能够帮助企业分析这些数据，但传统的产品工具对数据的处理目前仅仅停留在各自割裂的、独立的、简易的图表与简单列示查询的方式，这些数据还没有很好的呈现为可视化的关联，关键数据的提取与关联均需依靠人工进行逐条甄别，费时费力的同时，容易出错。

鉴于此，迫切需要设计一种基于大数据平台的数据处理方法及装置。

发明内容

为解决上述问题，本发明提供了一种基于大数据平台的数据处理方法及装置，提高了大规模数据的分析效率，从而可以将纷繁多样的海量数据转换成具有信息和商业价值的可用数据。

为实现上述目的，本发明采取的技术方案为：

一种基于大数据平台的数据处理方法，包括如下步骤：

S1、基于各目标数据采集模块实现目标数据的采集；

S2、采用基于Hadoop的粗糙集快速属性约简算法实现目标数据的预处理；

S3、采用基于类间区分度的属性约简算法实现目标数据的特征数据的提取；

S4、基于LSSVM根据所述特征数据实现目标数据的分类；

S5、基于目标数据的分类结果调用对应的分析模板，根据分析模板调用对应的分析模型实现目标数据的分析；

S6、将完成预处理的目标数据及其对应的分析结果填入预制的模板内，生成对应的分析报告。

进一步地，还包括：根据数据的格式完成数据的预分类的步骤，具体的，首先，将数据分为文本格式和图片格式，然后基于DSOD算法实现图片格式数据中目标的识别，然后根据目标识别结果完成文本格式数据和图片格式数据的对应归组分类，比如，该组文本格式数据与其中某几副图片对应，则分为一组，在后续的数据处理中，图片格式数据处于锁定状态，直至步骤S6中，解除锁定，填入对应的模板内。

进一步地，所述目标数据采集模块基于不同的数据采集算法进行目标数据的采集，从而可以实现目标数据的预分类。

进一步地，所述分析模板内设有每种类比数据对应的分析步骤以及每个步骤对应的分析算法、分析模型，基于MATLAB实现。

进一步地，所述分析模型采用Inception V3深度神经网络模型。

进一步地，所述分析报告中，完成预处理的目标数据采用超链接的方式填写，通过点击该超链接可以直接进入对应的数据库储存模块进行完成预处理的目标数据的查看，该超链接的名称为数据来源+时间。

本发明还提供了一种基于大数据平台的数据处理装置，包括：

目标数据采集模块，用于基于不同的数据采集算法实现目标数据的采集；