[发明专利]一种确保客户端数据采集准确性的方法及客户端

说明书

本发明实施例公开了一种确保客户端数据采集准确性的方法及客户端，所述方法包括：向服务器端发送请求以获取在服务器端预先配置的需要采集的事件以及事件对应的优先级；将生成的不同优先级的事件数据在内存中进行序列化并存储到磁盘上；由所述磁盘中读取数据并按照优先级从高到低的顺序依次将数据放入待发送队列后发送至服务器端，若发生通信连接中断导致数据发送失败，则将发送失败的数据存储至磁盘中待下次重新发送。采用了数据实时持久化以及多级缓存的方式，在客户端程序崩溃、异常或者网络状况不佳的情况下，能够保证数据不丢失，在程序再次启动时可以将之前缓存的数据发送出来，确保数据采集准确性和完整性。

技术领域

本发明实施例涉及计算机技术领域，具体涉及一种确保客户端数据采集准确性的方法及客户端。

背景技术

传统的客户端数据采集技术，一般直接使用HTTP请求进行数据传输，同时并没有重传机制，因此一旦传输失败，数据就会丢失。同时由于没有持久化方案，一旦客户端处于弱网或者断网的状态下，数据无法即时上传，也会造成数据丢失，这种现象在移动设备上会更加明显。这些缺陷会导致数据的采集完整性和准确性大幅下降。

发明内容

为此，本发明实施例提供一种确保客户端数据采集准确性的方法及客户端，以解决现有的客户端数据采集容易发生数据丢失，导致数据的采集准确性和完整性大幅下降的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例的第一方面，提出了一种确保客户端数据采集准确性的方法，所述方法包括：

向服务器端发送请求以获取在服务器端预先配置的需要采集的事件以及事件对应的优先级；

将生成的不同优先级的事件数据在内存中进行序列化并存储到磁盘上；

由所述磁盘中读取数据并按照优先级从高到低的顺序依次将数据放入待发送队列后发送至服务器端，若发生通信连接中断导致数据发送失败，则将发送失败的数据存储至磁盘中待下次重新发送。

进一步地，由所述磁盘中读取数据并按照优先级从高到低的顺序依次将数据放入待发送队列后发送至服务器端，具体还包括：

按照预设时间间隔发送数据，并根据预先配置的最大占用网络带宽对每次发送的最大数据量进行限定，若超出限定网络带宽配额则将数据留到下次发送。

进一步地，由所述磁盘中读取数据并按照优先级从高到低的顺序依次将数据放入待发送队列后发送至服务器端，具体还包括：

对于处于相同优先级的不同事件，按照事件结束时间戳的先后顺序依次将数据放入待发送队列后发送至服务器端。

进一步地，由所述磁盘中读取数据并按照优先级从高到低的顺序依次将数据放入待发送队列后发送至服务器端，具体还包括：

在每次数据发送过程中，若存在数据发送失败，则将发送失败的数据存储到发送失败缓存文件中，并在数据发送时优先发送失败数据，其次再根据优先级顺序发送数据。

进一步地，若发生通信连接中断导致数据发送失败，则将发送失败的数据存储至磁盘中待下次重新发送，具体还包括：

在每次数据发送过程中，优先发送当前通信连接下的数据，且在数据量不超过每次限定网络带宽配额的前提下，再将之前通信连接中断产生的旧连接下的失败数据进行再次重新发送。

进一步地，将生成的不同优先级的数据在内存中进行数据序列化并存储到磁盘上，具体还包括：

将存储的不同优先级的数据文件进行分文件处理，并设置单个文件大小，若单个文件大小超出限制，则新建一个文件继续存储数据。

进一步地，所述方法还包括：