[发明专利]一种判断数据段连续性的方法及其系统

说明书

本发明涉及数据处理技术领域，具体涉及到一种判断数据段连续性的方法及其系统。该种判断数据段连续性的方法包括：将获取的多条数据段按获取时间顺序进行排序；判断相邻两条数据段是否连续，计算前一条数据段的段尾时间与后一条数据段的段首时间的时间差值；若时间差值小于或等于预设时间值，则判定所述两条数据段连续；若时间差值大于预设时间值，则判定所述两条数据段不连续。本发明的判断数据段连续性的方法先将获取的多条数据段按获取时间顺序进行排序，通过计算相邻两条数据段的时间间隔，以判断相邻两条数据段是否连续，解决了现有技术无法对连续的数据段进行分析与处理的问题。

技术领域

本发明涉及数据处理技术领域，具体涉及到一种判断数据段连续性的方法及其系统。

背景技术

随着互联网技术在各行业的不断普及和应用，企业工作流程中各环节产生的业务数据规模迅速扩展。管理者对基于业务数据形成报表管理、事件告警、行为审计的需求日趋强烈。随着大数据技术的发展，为基于业务数据的集中收集和关联分析提供了技术基础。通过业务数据的关联分析技术，可以快速对业务数据进行审计、事件告警，定位问题出现的相关原始信息。

传统方法中机器故障由客户发现机器异常后反馈给客服人员，再由售后维修，对机器故障数据没有进行较好的利用，一般情况下，利用spark流处理对机器返回的故障数据进行处理与分析。Spark流处理，Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark，也就是把Spark Streaming的输入数据按照batchsize(如1秒)分成一段一段的数据(Discretized Stream)，每一段数据都转换成Spark中的RDD，然后将Spark Streaming中对DStream的Transformation操作变为针对Spark中对RDD的Transformation操作，将RDD经过操作变成中间结果保存在内存中。

然而在使用spark流处理进行数据分析时，常常会遇到对满足连续的一段数据进行分析，然而spark流处理并未直接提供相关的函数或方法去定位这样连续的数据段，且无法对连续的数据段进行分析与处理。

发明内容

为解决上述无法对连续的数据段进行分析与处理的问题，本发明提供一种判断数据段连续性的方法及其系统。

为实现上述目的，本发明采用的技术方案如下：一种判断数据段连续性的方法，所述方法包括：将获取的多条数据段按获取时间顺序进行排序；判断相邻两条数据段是否连续，计算前一条数据段的段尾时间与后一条数据段的段首时间的时间差值；若时间差值小于或等于预设时间值，则判定所述两条数据段连续；若时间差值大于预设时间值，则判定所述两条数据段不连续。

进一步的，若相邻两条数据段连续，则将两条数据段合并成新数据段。

进一步的，将前一条数据段的段首作为新数据段的段首。

进一步的，将后一条数据段的段尾作为新数据段的段尾。

进一步的，判断获取的所有数据段之间的连续性，得到若干条互不连续的数据段。

进一步的，对得到的若干条互不连续的数据段进行编号。

进一步的，所述编号以获取时间的顺序进行排序。

本发明还包括一种判断数据段连续性的系统，所述系统包括：获取模块，用于获取需进行定位处理的多条数据段；排序模块，用于对获取的多条数据段按获取时间顺序进行排序；判断模块，用于判断相邻两条数据段是否连续。

进一步的，所述系统还包括合并模块，所述合并模块用于将判断为连续的两条数据段合并为新数据段。

进一步的，所述系统还包括编号模块，所述编号模块用于对得到的若干条互不连续的数据段以获取时间的顺序进行排序编号。