[发明专利]基于Hadoop的轨检数据服务系统

说明书

本发明提供一种基于Hadoop的轨检数据服务系统，包括：数据采集模块，用于采集各轨检设备的当前轨检数据；数据处理模块包括数据对齐单元及数据处理单元，数据对齐单元用于利用历史轨检数据对各当前轨检数据进行局部插值及压缩，以实现历史轨检数据和各当前轨检数据的特征点匹配，进而得到数据对齐的轨检数据；数据处理单元用于将数据对齐的轨检数据进行数据预处理，以得到多组预处理的轨检数据，并对多组预处理的轨检数据进行分布式处理，以实现用户与各轨检设备的信息交互。本发明通过数据对齐单元将各当前轨检数据与历史轨检数据以特征点为标志进行数据对齐，为后续数据分析排除里程误差干扰；通过分布式处理提高轨检数据的高效利用以及分类管理。

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于Hadoop的轨检数据服务系统。

背景技术

“互联网+”已然成为当前我国各产业共同发展的重大策略。互联网、大数据、云计算等高科技信息技术发展迅猛，“互联网+”将这些信息技术与各领域融合，使传统业务数据化、在线化，实现了传统产业的创新与转型。

以往对轨道检测数据的分析与处理基本是基于单机或C/S架构的模式，容易形成“信息孤岛”，基础数据难以系统性地分类保存，形成的分析结果不够全面、不具宏观性。借助于当下“互联网+”的新技术将大量的轨道检测数据通过互联网汇集到一块进行系统性分类存储和挖掘分析，打破“信息孤岛”壁垒，形成统一的大数据分析云平台，提供全面、宏观的数据可视化分析结果，已成为当下轨检数据挖掘分析的发展方向和市场热点。

轨检数据服务平台是顺应当前社会信息化技术高水平发展、服务轨道检测系统改革的数据平台。它的主要目的是强化轨道检测分析，建立规范化管理体系，推进轨道系统数据之间的共享和各业务之间的相互配合，为决策提供高效、精准、牢靠的数据依据，提高轨道维护工作的预见性和针对性。当前轨检信息的管理存在一些问题：

(1)不能满足轨道检测各项业务产生的各类文件的高效存储和分类管理，各类不同信息的兼容性较差，无法做到统一访问、高效率的精确查询与统计，这是当前轨检信息的一大弊病；

(2)各类数据没有做到分层管理，在使用上也比较混乱，没有统一的数据存储管理中心和数据应用平台；

(3)应用业务与应用模式没有良好的可扩展性，不能分阶段地完善平台业务功能；

(4)兼容性较差，无法与其他的信息系统较好地融合在一起，系统运维成本较高；

(5)对数据的价值挖掘不足，无法深度探索和发现隐藏在海量数据之中的模式、规律和关系，无法从低价值密度的数据中萃取高价值密度的知识，处在“数据有余，信息不足”的阶段；

(6)没有良好的容灾能力，数据中心自动瞬时故障转移能力较弱，数据的安全性得不到保障。

发明内容

基于此，本发明的目的是提供一种基于Hadoop的轨检数据服务系统，以至少解决上述技术中的不足。

本发明提出一种基于Hadoop的轨检数据服务系统，包括数据采集模块以及数据处理模块：

所述数据采集模块，用于采集各轨检设备的当前轨检数据；

所述数据处理模块，包括数据对齐单元以及数据处理单元，所述数据对齐单元用于利用历史轨检数据对各所述当前轨检数据进行局部插值及压缩，以实现所述历史轨检数据和各所述当前轨检数据的特征点匹配，进而得到数据对齐的轨检数据；

所述数据处理单元用于将所述数据对齐的轨检数据进行数据预处理，以得到多组预处理的轨检数据，并对所述多组预处理的轨检数据进行分布式处理，以判断所述数据对齐的轨检数据是否符合预设要求，若所述数据对齐的轨检数据符合预设要求，则生成对应的数据报表，以实现用户与各所述轨检设备的信息交互。