[发明专利]一种数据处理方法、系统、电子设备及可读存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括以下步骤：

获取预先生成或实时生成的数据，记为目标数据；

基于所述目标数据进行数据同步，并将未完成数据同步的数据缓存至临时存储目录中；

判断所述临时存储目录中是否存在缓存数据，并在所述临时存储目录存在缓存数据时，将所述缓存数据和所述目标数据共同写入预先创建的日志记录文件中，并记录此时的文件写入条数；或者，在所述临时存储目录不存在缓存数据时，将所述目标数据写入预先创建的日志记录文件中，并记录此时的文件写入条数；

将记录的文件写入条数与预设数据上传阈值进行比对，并根据比对结果将所述日志记录文件中的数据读取到数据上传队列中进行分片上传。

2.根据权利要求1所述的数据处理方法，其特征在于，根据比对结果将所述日志记录文件中的数据读取到数据上传队列中进行分片上传的过程包括：

在所述文件写入条数大于所述预设数据上传阈值时，从所述日志记录文件中读取数据到数据上传队列，并发送直接上传消息，等待对所述数据上传队列中的数据进行分片上传；或者，

在所述文件写入条数小于等于所述预设数据上传阈值时，从所述日志记录文件中读取数据到数据上传字段，并由所述数据上传字段传输至所述数据上传队列，以及发送直接上传消息，等待对所述数据上传队列中的数据进行分片上传。

3.根据权利要求2所述的数据处理方法，其特征在于，对所述数据上传队列中的数据进行分片上传的过程包括：

响应于所述直接上传消息，并根据响应结果唤醒轮询上传数据线程；

利用所述轮询上传数据线程对所述数据上传队列进行轮询访问，将所述数据上传队列中的数据进行分片上传，直至所述轮询上传数据线程进入阻塞态时，结束轮询；或者，在所述轮询上传数据线程从所述数据上传队列中抽取的数据所对应的字段类型为结束字段时，结束轮询；

其中，当所述轮询上传数据线程对所述数据上传队列进行轮询访问时，若所述数据上传队列中不存在数据，则所述轮询上传数据线程进入阻塞态。

4.根据权利要求3所述的数据处理方法，其特征在于，利用所述轮询上传数据线程对所述数据上传队列进行轮询访问，将所述数据上传队列中的数据进行分片上传的过程包括：

利用所述轮询上传数据线程对所述数据上传队列进行轮询访问，并读取所述数据上传队列中的数据，记为待上传数据；

将所述待上传数据的字段与预设字段进行匹配，确定所述待上传数据的字段类型；

若所述待上传数据的字段类型属于预设字段，则直接对所述待上传数据进行分片上传，或者结束所述轮询上传数据线程对所述数据上传队列的轮询访问；

若所述待上传数据的字段类型不属于预设字段，则将所述待上传数据传输至所述临时存储目录，并在所述临时存储目录中的数据条数大于所述预设数据上传阈值时，对所述临时存储目录中的待上传数据进行分片上传。

5.根据权利要求4所述的数据处理方法，其特征在于，若所述预设字段包括直接上传字段和结束字段，则所述方法还包括：

将所述待上传数据的字段与所述直接上传字段、所述结束字段匹配；

若所述待上传数据的字段类型为直接上传字段，则将直接对所述待上传数据进行分片上传；

若所述待上传数据的字段类型为结束字段，则结束所述轮询上传数据线程对所述数据上传队列的轮询访问。

6.根据权利要求3至5中任一所述的数据处理方法，其特征在于，在唤醒轮询上传数据线程前，所述方法还包括：

获取预先创建的日志转存文件；

将所述日志记录文件中未完成分片上传的数据读入至所述日志转存文件中，并删除所述日志记录文件；

对读入数据的日志转存文件进行属性更改，并将完成属性更改后的日志转存文件作为日志记录文件。