[发明专利]数据处理方法、装置、设备和存储介质

说明书

本申请涉及一种数据处理方法、装置、设备和存储介质。主要技术方案包括：周期性地或响应于事件触发地，对主数据库进行检测，将主数据库中满足预设条件的数据信息添加至预设的任务队列；若达到预设的数据同步条件，则依据所述任务队列中的数据信息，进行从所述主数据库到备份数据库的数据转移；其中，所述主数据库用于存储数据并提供查询或读取功能。本申请能够实现数据的自动化转移，可以准确且灵活地对主数据库中存储的信息进行数据处理，进而大幅降低主数据库的承载压力，加速数据的读写效率，提升用户体验。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据处理方法、装置、设备和存储介质。

背景技术

现今信息量爆炸的时代，不论是工作用的信息系统还是提供给大众使用的一般网页系统，用户在系统上的操作都会存入系统的纪录文件，记录文件不仅可以做用户习惯的趋势分析，也可以用在发生系统问题的时候拿来验证操作或者优化流程。然而随着系统使用的时间越长，记录文件也会越来越庞大，对数据库的承载负担越来越大，，每次读取的时候对于数据库都是一种很大的负担，要如何能在保留这些记录的状况下，又不造成主要数据库的承载就是一个很重要的议题了。因此，在此背景下亟需一种高效的数据处理方法以降低主数据库的承载。

发明内容

基于此，本申请提供了一种数据处理方法、装置、设备和存储介质，具体地，本发明实施例提供了以下技术方案：

第一方面，提供一种数据处理方法，该方法包括：

周期性地或响应于事件触发地，对主数据库进行检测，将主数据库中满足预设条件的数据信息添加至预设的任务队列；

若达到预设的数据同步条件，则依据所述任务队列中的数据信息，进行从所述主数据库到备份数据库的数据转移；

其中，所述主数据库用于存储数据并提供查询或读取功能。

根据本申请实施例中一种可实现的方式，所述满足预设条件的数据信息包括：

存储时长超过预设的第一时间阈值的数据；或者，

查询或读取频率低于或等于预设频率阈值的数据。

根据本申请实施例中一种可实现的方式，所述周期性地或响应于事件触发地，对主数据库进行检测包括：

响应于定时排程工具周期性发送的数据检测指令或响应于事件触发的数据检测指令，对所述主数据库进行检测。

根据本申请实施例中一种可实现的方式，所述数据信息包括：数据内容和对应的数据索引。

根据本申请实施例中一种可实现的方式，所述数据同步条件包括：

所述任务队列包含的数据信息的数量超过预设的数量阈值；或者，

所述数据信息添加至所述任务队列的时长超过预设的第二时间阈值；或者，

到达预设的数据同步时间，所述数据同步时间呈周期性；或者，

接收到数据同步指令。

根据本申请实施例中一种可实现的方式，所述进行从所述主数据库到备份数据库的数据转移包括：

依据所述任务队列中的数据信息查询所述主数据库；

若所述主数据库中存在所述数据信息对应的数据，则将所述数据信息对应的数据添加到所述备份数据库并在所述主数据库中删除对应的数据。

根据本申请实施例中一种可实现的方式，所述数据信息包括基于PHP获取的用户操作记录。

第二方面，提供了一种数据处理装置，该装置包括：