[发明专利]一种基于大数据平台的数据处理方法及装置

权利要求书

1.一种基于大数据平台的数据处理方法，其特征在于，包括如下步骤：

S1、基于各目标数据采集模块实现目标数据的采集；

S2、采用基于Hadoop的粗糙集快速属性约简算法实现目标数据的预处理；

S3、采用基于类间区分度的属性约简算法实现目标数据的特征数据的提取；

S4、基于LSSVM根据所述特征数据实现目标数据的分类；

S5、基于目标数据的分类结果调用对应的分析模板，根据分析模板调用对应的分析模型实现目标数据的分析；

S6、将完成预处理的目标数据及其对应的分析结果填入预制的模板内，生成对应的分析报告。

2.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，还包括：根据数据的格式完成数据的预分类的步骤，具体的，首先，将数据分为文本格式和图片格式，然后基于DSOD算法实现图片格式数据中目标的识别，然后根据目标识别结果完成文本格式数据和图片格式数据的对应归组分类。

3.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，所述目标数据采集模块基于不同的数据采集算法进行目标数据的采集。

4.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，所述分析模板内设有每种类比数据对应的分析步骤以及每个步骤对应的分析算法、分析模型，基于MATLAB实现。

5.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，所述分析模型采用Inception V3深度神经网络模型。

6.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，所述分析报告中，完成预处理的目标数据采用超链接的方式填写，通过点击该超链接可以直接进入对应的数据库储存模块进行完成预处理的目标数据的查看，该超链接的名称为数据来源+时间。

7.一种基于大数据平台的数据处理装置，其特征在于：包括：

目标数据采集模块，用于基于不同的数据采集算法实现目标数据的采集；

目标数据预处理模块，采用基于Hadoop的粗糙集快速属性约简算法实现目标数据的预处理；

数据特征提取模块，采用基于类间区分度的属性约简算法实现目标数据的特征数据的提取；

数据分类模块，基于LSSVM根据所述特征数据实现目标数据的分类；

数据分析模块，用于基于目标数据的分类结果调用对应的分析模板，根据分析模板调用对应的分析模型实现目标数据的分析；

分析报告制作模块，用于将完成预处理的目标数据及其对应的分析结果填入预制的模板内，生成对应的分析报告。

8.如权利要求1所述的一种基于大数据平台的数据处理装置，其特征在于：还包括：

数据预分类模块，用于根据数据的格式完成数据的预分类，分类时，首先，将数据分为文本格式和图片格式，然后基于DSOD算法实现图片格式数据中目标的识别，然后根据目标识别结果完成文本格式数据和图片格式数据的对应归组分类。

9.如权利要求1所述的一种基于大数据平台的数据处理装置，其特征在于：还包括：

数据定位模块，基于特征数据为对应的完成预处理的目标数据在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系。