[发明专利]一种数据处理方法、系统、电子设备及可读存储介质

说明书

本发明提供一种数据处理方法、系统、电子设备及可读存储介质，获取目标数据，基于目标数据进行数据同步，并将未完成数据同步的数据缓存至临时存储目录中；判断临时存储目录中是否存在缓存数据，如果存在，则将缓存数据和目标数据共同写入预先创建的日志记录文件中，记录文件写入条数；如果不存在，则将目标数据写入预先创建的日志记录文件中，并记录文件写入条数；将记录的文件写入条数与预设数据上传阈值进行比对，根据比对结果将日志记录文件中的数据进行分片上传。本申请通过对目标数据进行分片上传，不仅能够减少网络请求次数，而且能够在网络出现波动时，存储已上传的数据，避免在数据上传过程中因为网络问题，出现频繁重复上传的情形。

技术领域

本申请涉及数据存储技术领域，具体涉及一种数据处理方法、系统、电子设备及可读存储介质。

背景技术

随着车辆技术的发展，车辆已经成为人们生活中必不可少的一部分，车内场景也成为人们生活中的一个重要场所。目前，人们对车辆的要求也越来越高，人们不只是希望能够安全驾驶，在保证安全驾驶的前提下，人们同样希望拥有良好的驾驶体验。因此，为了让车辆能够拥有良好的驾驶体验，现有的车辆生产企业会在车辆内安装车载信息娱乐产品(简称车机)，以供驾驶员或者乘客充分利用车辆进行娱乐休闲等服务。而驾驶员或者乘客在与车机进行交互时，会产生大量的数据，为了保存这些数据，以便车辆可以根据不同驾驶员或者乘客呈现出不同的服务，就需要对这些数据进行上传及存储。

但是，现有方式在关于车机数据上传及存储方面，通常做法是找出需要写入至内存的数据，然后提供内存空间来储存这些数据。相当于现有方式是将需要写入内存的数据作为一个整体文件，然后对整个文件进行上传，导致其产生的网络流量请求较大。同时，现有方式在数据上传及存储时，基本上都是在数据或文件完全写入后再统一上传，相当于其不具备数据写入不定时和上传不定时的功能，从而使得单次上传及存储的数据或文件较大，在网络状态不好时，导致整个数据或文件都无法上传及存储。

发明内容

鉴于以上所述现有技术的缺点，本申请提供一种数据处理方法、系统、电子设备及可读存储介质，以解决上述技术问题。

本申请提供一种数据处理方法，所述方法包括以下步骤：

获取预先生成或实时生成的数据，记为目标数据；

基于所述目标数据进行数据同步，并将未完成数据同步的数据缓存至临时存储目录中；

判断所述临时存储目录中是否存在缓存数据，并在所述临时存储目录存在缓存数据时，将所述缓存数据和所述目标数据共同写入预先创建的日志记录文件中，并记录此时的文件写入条数；或者，在所述临时存储目录不存在缓存数据时，将所述目标数据写入预先创建的日志记录文件中，并记录此时的文件写入条数；

将记录的文件写入条数与预设数据上传阈值进行比对，并根据比对结果将所述日志记录文件中的数据读取到数据上传队列中进行分片上传。

于本申请的一实施例中，根据比对结果将所述日志记录文件中的数据读取到数据上传队列中进行分片上传的过程包括：

在所述文件写入条数大于所述预设数据上传阈值时，从所述日志记录文件中读取数据到数据上传队列，并发送直接上传消息，等待对所述数据上传队列中的数据进行分片上传；或者，

在所述文件写入条数小于等于所述预设数据上传阈值时，从所述日志记录文件中读取数据到数据上传字段，并由所述数据上传字段传输至所述数据上传队列，以及发送直接上传消息，等待对所述数据上传队列中的数据进行分片上传。

于本申请的一实施例中，对所述数据上传队列中的数据进行分片上传的过程包括：

响应于所述直接上传消息，并根据响应结果唤醒轮询上传数据线程；