[发明专利]基于分布式架构的多源大规模食品数据的处理方法

摘要

本发明公开了一种基于分布式架构的多源大规模食品数据的处理方法。内容如下：在分布式架构的基础上，搭建了分布式计算平台，基于Map‑Reduce算法对数据进行分布式存储、运算；针对大规模多源食品数据，定义关键指标和时空数据异常问题，使用提出的时空大数据关键指标分析方法，对数据进行聚类，划分。计算关键指标，从而实现异常检测。算法包括如下步骤：分布式计算平台搭建；数据导入至分布式文件系统；数据预处理，作为算法输入；对数据对象进行聚类，计算对象在不同维度的指标；可视化指标分析结果。本发明能够有效地解决传统单对象时序数据异常检测方法存在的问题，使得检测精度和速度都得到有效提升。

主权项

1.一种基于分布式架构的多源大规模食品数据的处理方法，其特征在于：该数据的处理方法包括以下步骤：第一步：编写代码搭建分布式计算平台；第二步：将多源大规模食品检测流程数据从MySQL数据库导入至分布式文件系统HDFS，以文本文件进行存储，用作数据处理、分析；第三步：将存储在HDFS中的数据进行预处理，每个批次的数据对象，按照时间特征进行划分，划分为不同时间段，同时进行维度补齐，保证每个对象具有相同的时间段维度；第四步：对每个对象的每个时间段，进行聚类分析，使用K‑Means聚类算法，得到对应的聚类中心点和类簇个数；第五步：对每个对象，分别计算每个时间段的n个类簇的指标；这里的指标定义为数据偏离程度。计算每个对象在每个时间段的数据在不同类簇中的占比，最终得到不同对象的指标序列；第六步：根据得到的指标序列进行可视化，从而直观的观察各个对象的波动情况，实现数据分析和异常检测。