[发明专利]基于大数据处理技术的二次运维数据融合方法

权利要求书

1.一种基于大数据处理技术的二次运维数据融合方法，其特征在于，包括以下步骤:

S1、构建Hadoop大数据平台，安装并配置Hadoop分布式机群，计算机之间能够通过MapReduce机制进行任务分发和结果统计；

S2、Hadoop大数据平台和关系型数据库进行结合，使用Hadoop提供的数据口接口，实现对二次大数据的高速存储和读取；

S3、以调度平台的子系统作为数据源进行数据信息采集形成多源数据，并通过数据清洗、数据集成、数据选择、数据变换对多源数据进行预处理；

S4、选择欧氏距离作为相似性度量指标，通过相似性指标聚类的方法对待挖掘数据进行聚类；根据统一数据模型的定义规则，对同类的多源数据结合成新的多维度数据，实现二次数据融合；

步骤S4包括:

S41、根据数据预处理的结果，将处理后的数据投影到空间坐标系；

S42、计算数据点之间的欧式距离；

S43、通过阈值确定数据相似度；

S44、通过数据相似度确定同类数据；

S45、将同类的多源数据结合成新的多维度数据；

S5、将多维度数据存入关系型数据库，供其他功能模块调用。

2.根据权利要求1所述的基于大数据处理技术的二次运维数据融合方法，其特征在于，所述步骤S3包括:

S31、调度平台的子系统包括D5000系统、整定计算系统、保信及录波联网系统、行波测距系统，子系统进行多源数据信息采集；

S32、数据清洗，去掉多源数据中重复冗余的数据；

S33、数据集成，消除因条件不一样所引起的数据差异，为后续数据处理提供方便；条件包括类型、平台；

S34、数据选择，以设定参数为筛选条件，抽取目标数据对象；

S35、数据变换，降低数据维数，缩减数据量，确定出有价值的数据。

3.根据权利要求1所述的基于大数据处理技术的二次运维数据融合方法，其特征在于:步骤S5中将多维度统一模型数据存入关系型数据库，功能模块通过访问关系型数据库获得完整数据信息。

4.根据权利要求2所述的基于大数据处理技术的二次运维数据融合方法，其特征在于:设定参数包括特定时间；降低数据维数包括由二维数据降为一维数据。

5.根据权利要求2所述的基于大数据处理技术的二次运维数据融合方法，其特征在于:阈值设定为90％。

6.根据权利要求1所述的基于大数据处理技术的二次运维数据融合方法，其特征在于:统一数据模型为汇总了多个子系统的数据之后，对同一个数据模型做信息提取，汇总之后形成的信息属性较全的数据模型的集合。