[发明专利]基于分布式架构的多源大规模食品数据的处理方法

说明书

本发明公开了一种基于分布式架构的多源大规模食品数据的处理方法。内容如下：在分布式架构的基础上，搭建了分布式计算平台，基于Map‑Reduce算法对数据进行分布式存储、运算；针对大规模多源食品数据，定义关键指标和时空数据异常问题，使用提出的时空大数据关键指标分析方法，对数据进行聚类，划分。计算关键指标，从而实现异常检测。算法包括如下步骤：分布式计算平台搭建；数据导入至分布式文件系统；数据预处理，作为算法输入；对数据对象进行聚类，计算对象在不同维度的指标；可视化指标分析结果。本发明能够有效地解决传统单对象时序数据异常检测方法存在的问题，使得检测精度和速度都得到有效提升。

技术领域

本发明属于计算机技术领域，具体地涉及一种基于分布式架构的多源大规模食品数据的关键指标分析算法及系统。

背景技术

在信息化高度发达的今天，相关监管部门可以有效整合食品产业链中各部门的大规模数据资源；例如，食品检验数据和食品药品投诉数据等。整体上，这类数据资源呈现了数据规模大、组织结构复杂和表述方式多样化的特点。虽然伴随着人工智能技术的发展，传统的机器学习算法在大数据处理中的优势已体现在产业化的各类领域。但是面对多源异构的多数据库数据融合及协同分析，仍然面临着数据冗余度高、表述方式不统一(例如文字描述和数值统计)等困难。面向具有“多源异构流数据”特性的典型时空大数据，如何采用数据整合和时空数据分析等关键技术进行研究建模来连通“各部门信息孤岛”，充分挖掘其潜在风险。

在数据研究领域，时空大数据指的是在空间上相互独立的若干对象在不同时刻产生的数据，而每一个对象在不同时刻产生的数据则形成一条时间序列数据，又称为流数据。传统的单对象的时序数据异常检测仅考虑单一对象，考虑的数据维度也比较低，无法充分挖掘出隐藏的有效信息。单机式的算法在检测精度和速度上都存在一定问题。需要研究出一种更加准确，更有效率的检测算法。

发明内容

技术问题：本发明针对上述技术存在的问题和不足，提供了一种基于分布式架构的多源大规模食品数据的关键指标分析算法。实现对大规模多源数据的分布式存储、读取、运算，并利用关键指标这一概念，对数据进行建模分析，根据食品数据的关键指标，来进行数据分析、异常检测。

技术方案：为实现上述发明目的，本发明的一种基于分布式架构的多源大规模食品数据的处理方法采用的技术方案包括如下步骤：

第一步：编写代码搭建分布式计算平台；

第二步：将多源大规模食品检测流程数据从MySQL数据库导入至分布式文件系统HDFS(Hadoop Distributed File System)，以文本文件进行存储，用作数据处理、分析；

第三步：将存储在HDFS中的数据进行预处理，每个批次的数据对象，按照时间特征进行划分，划分为不同时间段，同时进行维度补齐，保证每个对象具有相同的时间段维度。

第四步：对每个对象的每个时间段，进行聚类分析，使用K-Means聚类算法，得到对应的聚类中心点和类簇个数。

第五步：对每个对象，分别计算每个时间段的n个类簇的指标。这里的指标定义为数据偏离程度。计算每个对象在每个时间段的数据在不同类簇中的占比，最终得到不同对象的指标序列。

第六步：根据得到的指标序列进行可视化，从而直观的观察各个对象的波动情况，实现数据分析和异常检测。

其中：

所述的第一步：编写代码搭建分布式计算平台；基于Hadoop环境，在服务器端配置包含一个master节点，三个slave节点的分布式计算平台，用于实现分布式并行计算。

所述第二步：编写数据导入脚本代码，将多源大规模食品检测流程数据从原始MySQL数据库导入至分布式文件系统HDFS，以文本文件进行存储，用作数据处理、分析。