[发明专利]数据的读取方法及装置

说明书

本发明公开了一种数据的读取方法及装置，涉及信息技术领域，主要目的在于解决现有技术中Flume系统在执行数据转发过程中，针对同一个数据，若在写入过程中，同时执行读取，则会产生异常的问题。本发明的技术方案包括：获取文件属性列表中日志文件内容的最新读取结束标记；根据标识信息获取当前待读取数据的结尾字符，并判断当前待读取数据的结尾字符是否与预设结束字符一致；其中，当前待读取数据为读取结束标识对应的文件内容；若确定当前待读取数据的结尾字符与预设结束字符一致，则读取当前待读取数据，并继续获取后续待读取数据的结尾字符，直到确定后续待读取数据的结尾字符与预设结束字符不一致为止。

技术领域

本发明涉及信息技术领域，特别是涉及一种数据的读取方法及装置。

背景技术

随着互联网技术的快速发展，用户对基于互联网传输数据的应用越来越重视；例如，在服务器端部署两种类型的服务器，一种为接收服务器，用于接收客户端发送的超文本传送协议(HTTP-Hypertext transfer protocol，HTTP)请求，并将接收到HTTP请求按照一定规则转发至计算服务器；另一种为计算服务器，用于对接收服务器发送的数据进行处理分析。

现有技术中，接收服务器与计算服务器分布在不同的服务器上，其中，接收服务器通过接收站点接收数据发送端发送的数据，并将接收到的数据写入日志文件中，通过Flume系统读取日志文件，并将日志文件中的数据转发至计算服务器。Flume系统在将接收到的日志进行转发时，利用Flume Source组件完成对日志数据的收集，并将其采集的数据传输至Flume Channel组件进行缓存，由Flume Sink组件将Flume Channel组件中缓存的日志读取出来，并提交至计算服务器，实现对日志数据的转发。

发明人在实现上述发明过程中，Flume Source组件在读取日志时，需要对存储日志的指定文件进行监控，当确定指定文件存在更新时读取更新后的日志；但是，若FlumeSource组件读取的是接收服务器正在记录的日志文件，则可能会发生读取异常，即FlumeSource组件只能读取指定文件下已记录完整、完毕的日志文件；此外，在Flume Source组件在每次读取日志文件时，均需要从头开始读取日志文件，增大了Flume系统处理数据的工作量，从而降低了数据处理的效率。

发明内容

有鉴于此，本发明提供的一种数据的读取方法及装置，主要目的在于解决现有技术中Flume系统在执行数据转发过程中，针对同一个数据，若在写入过程中，同时执行读取，则会产生异常，此外，在Flume Source组件在每次读取日志文件时，均需要从头开始读取日志文件，增大了Flume系统处理数据的工作量，从而降低了数据处理的效率的问题。

为了解决上述问题，本发明主要提供如下技术方案：

一方面，本发明提供了一种数据的读取方法，所述方法应用于Flume系统，包括：

获取文件属性列表中日志文件内容的最新读取结束标记；所述文件属性列表中记录有日志文件的标识信息与日志文件的最新读取结束标识的映射关系；

根据所述标识信息获取当前待读取数据的结尾字符，并判断所述当前待读取数据的结尾字符是否与预设结束字符一致；其中，所述当前待读取数据为所述读取结束标识对应的文件内容；

若确定所述当前待读取数据的结尾字符与所述预设结束字符一致，则读取所述当前待读取数据，并继续获取后续待读取数据的结尾字符，直到确定后续待读取数据的结尾字符与所述预设结束字符不一致为止。

可选的，所述方法还包括：

若确定所述当前待读取数据的结尾字符与所述预设结束字符不一致，则暂停读取所述当前待读取数据，直到确定所述当前待读取数据的结尾字符与所述预设结束字符一致后，读取所述当前待读取数据。