[发明专利]一种实现流式数据写入对象存储的方法

说明书

本发明公开一种实现流式数据写入对象存储的方法，涉及流式数据存储技术领域；将流式数据写入hdfs临时文件，并启动相应定时任务，定时修改临时文件的文件名并标记文件名为可读状态，定时读取可读临时文件的数据，根据存储桶预设值对数据进行处理，将处理后的数据下发至对象存储，并标记文件名为处理完状态，定时删除处理完状态的临时文件，释放资源。

技术领域

本发明公开一种方法，涉及流式数据存储技术领域，具体地说是一种实现流式数据写入对象存储的方法。

背景技术

目前在物联网服务中，需要对数据来源中的数据进行数据分析、筛选和转换，并将处理后的结果流向其他目的地。当数据目的地为对象存储时，需先设定存储桶的大小，即每次写入对象存储数据的大小。检测文件大小，当文件大小满足存储桶预设的大小再进行处理时，数据流中的数据没有这么多，那么将无限等待满足条件再进行处理，而如果定时处理，那么每次处理的文件有可能特别小，甚至出现处理的文件存在空文件的情况。这些情况均不利于高效的将流式数据下发至对象存储。

发明内容

本发明针对针对数据目的地为对象存储时，浪费资源或是处理时间比较慢的情况，提供一种实现流式数据写入对象存储的方法，本发明提出的具体方案是：

一种实现流式数据写入对象存储的方法，将流式数据写入hdfs临时文件，并启动相应定时任务，定时修改临时文件的文件名并标记文件名为可读状态，

定时读取可读临时文件的数据，根据存储桶预设值对数据进行处理，将处理后的数据下发至对象存储，并标记文件名为处理完状态，

定时删除处理完状态的临时文件，释放资源。

进一步，所述的一种实现流式数据写入对象存储的方法中读取流式数据，按照hdfs临时文件的滚动规则，将流式数据写入hdfs临时文件。

进一步，所述的一种实现流式数据写入对象存储的方法中hdfs临时文件的滚动规则包括按临时文件大小滚动规则和按时间滚动规则，按临时文件大小滚动规则为当流式数据写入临时文件的数据量大小超出预设值时写入另一个新的临时文件，按时间滚动规则为设定流式数据写入临时文件的时间间隔，一旦到达预设的时间间隔，数据写入另一个新的临时文件。

进一步，所述的一种实现流式数据写入对象存储的方法中启动重命名定时任务定时修改所有临时文件的文件名，将临时文件的文件名增加相应标志字段，标记临时文件为可读状态。

进一步，所述的一种实现流式数据写入对象存储的方法中启动数据处理定时任务，定时检测可读状态的临时文件，如果临时文件的大小满足存储桶预设值，则直接将临时文件中的数据写入对象存储，并将临时文件标记为已完成状态；如果临时文件大小不满足存储桶预设值，则将临时文件标记为正在处理状态。

进一步，所述的一种实现流式数据写入对象存储的方法中通过数据处理定时任务将标记为正在处理状态的临时文件与下一个不满足存储桶预设值的临时文件进行数据整合，直至临时文件大小满足存储桶预设值，将临时文件写入对象存储，并标记临时文件为已完成状态。

进一步，所述的一种实现流式数据写入对象存储的方法中通过数据处理定时任务将超出等待时间值的正在处理状态的临时文件的数据强制写入对象存储。

进一步，所述的一种实现流式数据写入对象存储的方法中通过文件删除定时任务定时根据文件名中的时间戳检测临时文件的缓存时间，删除超过缓存时间并且标记为已完成状态的临时文件。

一种实现流式数据写入对象存储的系统，包括写入模块和定时任务启动模块，

写入模块将流式数据写入hdfs临时文件，定时任务启动模块启动相应定时任务，定时修改临时文件的文件名并标记文件名为可读状态，

定时读取可读临时文件的数据，根据存储桶预设值对数据进行处理，将处理后的数据下发至对象存储，并标记文件名为处理完状态，