[发明专利]基于分布式架构的多源大规模食品数据的处理方法

权利要求书

1.一种基于分布式架构的多源大规模食品数据的处理方法，其特征在于：该数据的处理方法包括以下步骤：

第一步：编写代码搭建分布式计算平台；

第二步：将多源大规模食品检测流程数据从MySQL数据库导入至分布式文件系统HDFS，以文本文件进行存储，用作数据处理、分析；

第三步：将存储在HDFS中的数据进行预处理，每个批次的数据对象，按照时间特征进行划分，划分为不同时间段，同时进行维度补齐，保证每个对象具有相同的时间段维度；

第四步：对每个对象的每个时间段，进行聚类分析，使用K-Means聚类算法，得到对应的聚类中心点和类簇个数；

第五步：对每个对象，分别计算每个时间段的n个类簇的指标；这里的指标定义为数据偏离程度。计算每个对象在每个时间段的数据在不同类簇中的占比，最终得到不同对象的指标序列；

第六步：根据得到的指标序列进行可视化，从而直观的观察各个对象的波动情况，实现数据分析和异常检测。

2.根据权利要求1所述的基于分布式架构的多源大规模食品数据的处理方法，其特征在于：所述的第一步：编写代码搭建分布式计算平台；基于Hadoop环境，在服务器端配置包含一个master节点，三个slave节点的分布式计算平台，用于实现分布式并行计算。

3.根据权利要求1所述的基于分布式架构的多源大规模食品数据的处理方法，其特征在于：所述第二步：编写数据导入脚本代码，将多源大规模食品检测流程数据从原始MySQL数据库导入至分布式文件系统HDFS，以文本文件进行存储，用作数据处理、分析。

4.根据权利要求1所述的基于分布式架构的多源大规模食品数据的处理方法，其特征在于：所述第三步：将存储在HDFS中的数据进行预处理，预处理步骤为：对每个批次的数据对象，按照时间特征进行划分，划分为不同时间段，同时进行维度补齐，保证每个对象具有相同的时间段维度。

5.根据权利要求1所述的基于分布式架构的多源大规模食品数据的处理方法，其特征在于：所述第四步：对每个对象的每个时间段，进行聚类分析，聚类方法为：使用K-Means聚类算法，针对每个时间段，先初始化聚类中心，迭代计算新的聚类中心直到收敛，得到对应的最终的聚类中心点和类簇个数。

6.根据权利要求1所述的基于分布式架构的多源大规模食品数据的处理方法，其特征在于：所述第五步：对每个对象，分别计算每个时间段的n个类簇的指标，这里的指标定义为数据偏离程度，计算方法为：对每个对象在每个时间段的各个类簇，对类簇的聚类中心进行加权求和，作为相应类簇的评价指标；再计算每个对象在每个时间段的数据在不同类簇中的占比，计算方法为：使用对象所在类簇数除以总类簇数；最终得到不同对象的指标序列。

7.根据权利要求1所述的基于分布式架构的多源大规模食品数据的处理方法，其特征在于：所述第六步：根据得到的指标序列进行可视化，可视化方法为：将所得到的指标数据以json格式传输至系统网页web端，解析之后使用Echarts显示，显示效果为不同对象对应的柱状图，横轴表示对应的时间段，纵轴表示对应的关键指标值，从而直观的观察各个对象的波动情况，实现数据分析和异常检测。