[发明专利]数据的处理方法及装置

权利要求书

1.一种数据的处理方法，其特征在于，所述方法应用于Flume系统，所述Flume系统运行于接收服务器中，或运行于其他终端设备中，包括：

获取日志文件，并对所述日志文件进行解析；其中，所述日志文件由所述接收服务器根据访问请求信息生成，且所述日志文件存储于所述接收服务器中；

读取所述访问请求信息，并将读取的访问请求信息发送至数据接收端，以便所述数据接收端对所述访问请求信息进行处理，其中，所述接收服务器接收访问请求信息与所述Flume系统转发访问请求信息是并行执行的；

接收所述数据接收端返回的对所述访问请求信息的响应信息。

2.根据权利要求1所述的方法，其特征在于，读取所述访问请求信息包括：

获取日志文件的名称与最大行号之间的对应关系，其中，每个访问请求信息对应日志文件中的一行；

根据所述日志文件的名称从其对应的最大行号开始读取所述访问请求信息。

3.根据权利要求2所述的方法，其特征在于，获取日志文件包括：

从预置配置文件获取日志文件夹的存储路径，所述日志文件夹中包含多个日志文件；

从所述存储路径下获取所述日志文件夹下的所有日志文件。

4.根据权利要求3所述的方法，其特征在于，在读取所述访问请求信息之前，所述方法还包括：

分别获取所述日志文件夹下的所有日志文件的最大行号；

将所有日志文件的日志名称与各个日志文件对应的最大行号记录于映射列表中。

5.根据权利要求4所述的方法，其特征在于，在将所有日志文件的日志名称与各个日志文件对应的最大行号记录于映射列表中之前，所述方法还包括：

对所述日志文件夹进行监控，并确定所述日志文件夹是否存在更新；

若确定所述日志文件夹存在更新，则确定更新的内容是否为新增日志文件；

将所有日志文件的日志名称与各个日志文件对应的最大行号记录于映射列表中包括：

若确定更新的内容为新增日志文件，则在所述映射列表中增加所述新增日志文件的日志名称与其对应的最大行号之间的对应关系；

若确定更新的内容为原日志文件的修改，则获取更新后的原日志文件的名称，并对所述映射列表中与其对应的最大行号进行更新。

6.根据权利要求5所述的方法，其特征在于，根据所述日志文件的名称从其对应的最大行号开始读取访问请求信息具体为：

若所述日志文件为新增日志文件，则根据所述新增日志的名称，从所述新增日志文件的第零行开始读取访问请求信息，直到读取完新增日志文件的末尾；

或者，若所述日志文件为原日志文件的更新，则根据所述原日志文件的名称，从所述映射列表记录的最大行号的下一行开始读取访问请求信息，直到读取完更新后的原日志文件的末尾。

7.根据权利要求1所述的方法，其特征在于，将读取的访问请求信息发送至数据接收端包括：

从预置配置文件中获取所有数据接收端的统一资源定位符URL，并将所述统一资源定位符URL存储于预置数组中，每个统一资源定位符URL对应一个存储地址；

获取所述访问请求信息中包含的用户标识信息；

对所述用户标识信息执行哈希计算，得到整型数值；

计算所述整型数值与所有数据接收端总个数的余数，并根据计算得到的余数确定所述预置数组中统一资源定位符URL对应的存储地址；

将所述访问请求信息发送至确定后的预置数组中统一资源定位符URL存储地址对应的数据接收端。