[发明专利]基于Hadoop的轨检数据服务系统

权利要求书

1.一种基于Hadoop的轨检数据服务系统，其特征在于，包括数据采集模块以及数据处理模块：

所述数据采集模块，用于采集各轨检设备的当前轨检数据；

所述数据处理模块，包括数据对齐单元以及数据处理单元，所述数据对齐单元用于利用历史轨检数据对各所述当前轨检数据进行局部插值及压缩，以实现所述历史轨检数据和各所述当前轨检数据的特征点匹配，进而得到数据对齐的轨检数据；

所述数据处理单元用于将所述数据对齐的轨检数据进行数据预处理，以得到多组预处理的轨检数据，并对所述多组预处理的轨检数据进行分布式处理，以判断所述数据对齐的轨检数据是否符合预设要求，若所述数据对齐的轨检数据符合预设要求，则生成对应的数据报表，以实现用户与各所述轨检设备的信息交互。

2.根据权利要求1所述的基于Hadoop的轨检数据服务系统，其特征在于，所述基于Hadoop的轨检数据服务系统还包括数据库支持模块，所述数据库支持模块用于根据利用各轨检设备所获取的轨检数据生成多个轨检台账数据库、以及根据用户权限生成多个权限管理数据库，所述多个轨检台账数据库至少包括平面曲线数据库、竖曲线数据库、CP3数据库以及轨枕信息数据库，所述多个权限管理数据库至少包括规范管理数据库。

3.根据权利要求1所述的基于Hadoop的轨检数据服务系统，其特征在于，所述数据处理模块还包括文件存储单元，所述文件存储单元用于将小于预设存储大小的文件按照所占内存空间进行均匀分布，以使合并后的文件符合预设的数据块最大阈值。

4.根据权利要求1所述的基于Hadoop的轨检数据服务系统，其特征在于，所述文件存储单元具体用于：

当接收到文件存储请求时，初始化数据队列、并创建多个临时队列、多个合并队列以及多个文件信息映射表，其中，所述临时队列的个数小于所述合并队列的个数；

获取当前上传的文件，并比较所述当前上传的文件的存储大小与所述临时队列的剩余存储空间，若所述临时队列的剩余存储空间大于所述当前上传的文件的存储大小，则将所述当前上传的文件存储到所述临时队列中、并查看所述文件信息映射表中是否存在所述当前上传的文件；

若所述文件信息映射表中存在所述当前上传的文件，则判断所述临时队列中所有文件所占空间是否达到所述临时队列的预设阈值空间的第一阈值；

若所述临时队列中所有文件所占空间达到所述临时队列的预设阈值空间的第一阈值，则将所述临时队列中所有文件进行合并，直到达到所述临时队列的预设阈值空间，得到所述临时队列所对应的合并队列；

找到所述临时队列中所占存储空间最大的文件，并判断所述所占存储空间最大的文件的存储大小是否大于所述临时队列的预设阈值空间的第二阈值；

若所述所占存储空间最大的文件的存储大小大于所述临时队列的预设阈值空间的第二阈值，则将所述当前上传的文件存放在所述临时队列所对应的合并队列中，并在其他的临时队列中寻找友好文件，并将寻找到的所有友好文件均存入所述临时队列所对应的合并队列中进行文件打包上传。

5.根据权利要求4所述的基于Hadoop的轨检数据服务系统，其特征在于，所述文件存储单元还用于：

若所述所占存储空间最大的文件的存储大小不大于所述临时队列的预设阈值空间的第二阈值，则持续向所述临时队列中上传文件，直到所述临时队列中所有文件所占空间大于等于所述临时队列的预设阈值空间的第二阈值；

将所述当前上传的文件存放在所述临时队列所对应的合并队列中，并在其他的临时队列中寻找友好文件，并将寻找到的所有友好文件均存入所述临时队列所对应的合并队列中进行文件打包上传。

6.根据权利要求1所述的基于Hadoop的轨检数据服务系统，其特征在于，所述数据对齐单元具体用于：

在所述历史轨检数据和各所述当前轨检数据中给定两个等时间间隔的相同特征序列，并计算出两所述相同特征序列之间任意两点的距离，以得到两所述相同特征序列的距离矩阵；

利用动态规划法计算出两所述相同特征序列的距离矩阵的最优规划路径，根据所述最优规划路径计算出两所述相同特征序列的最小动态时间规整距离，以使两所述相同特征序列进行数据对齐。