[发明专利]数据处理方法、装置、存储介质和电子设备

说明书

本发明公开了一种数据处理方法、装置、存储介质和电子设备，其中，该方法包括：接收数据读取指令，其中，数据基于内存映射技术存储在由多个存储单元构成的缓存区内；根据数据读取指令确定数据对应的索引数据，索引数据包括一级索引数据和二级索引数据；根据一级索引数据确定数据所属存储单元的序号信息；根据所属存储单元的序号信息和二级索引数据确定数据的位置信息，以读取数据。通过本发明，可以满足Replicator进程所需的高效率读写。

技术领域

本发明公开涉及数据处理领域，具体涉及一种数据处理方法、装置、存储介质和电子设备。

背景技术

在MySQL数据复制中，由于MySQL服务器上的binlog(日志)文件保存时间较短，磁盘空间不足时，binlog文件会被清除掉。

目前，存储日志文件主要依赖诸如Redis集群的缓存系统，Redis是开源软件，可以支持很大的数据容量，而且Redis本身也支持数据持久化功能。

然后，Redis存在如下缺陷：1)在MySQL数据复制的Replicator(复制器，负责抽取和缓存MySQL binlog日志记录)组件中，当存在超大缓存需求场景时，需要依据某条数据ID(Identity，身份标识号码)来查询下一条数据，Redis不支持这样的操作；2)Replicator需要设置固定的缓存大小，如果缓存空间满了，最新被写入的数据会挤掉最老的数据；而Redis依据KEY(键)的TTL(Time to Live，剩余生存时间)机制来删除过期的数据，两者之间有较大的区别，对业务的使用场景有较大的影响。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法、装置、存储介质和电子设备，以解决现有技术中由于依赖Redis集群缓存系统来存储数据而导致的无法较好地满足Replicator进程需求的问题。

根据本发明实施例的第一方面，提供一种数据处理方法，该方法包括：接收数据读取指令，其中，数据基于内存映射技术存储在由多个存储单元构成的缓存区内；根据数据读取指令确定数据对应的索引数据，索引数据包括一级索引数据和二级索引数据；根据一级索引数据确定数据所属存储单元的序号信息；根据所属存储单元的序号信息和二级索引数据确定数据的位置信息，以读取数据。

根据本发明实施例的第二方面，提供一种数据处理装置，该装置包括：指令接收单元，用于接收数据读取指令，其中，数据基于内存映射技术存储在由多个存储单元构成的缓存区内；索引数据确定单元，用于根据数据读取指令确定数据对应的索引数据，索引数据包括一级索引数据和二级索引数据；序号确定单元，用于根据一级索引数据确定数据所属存储单元的序号信息；数据读取单元，用于根据所属存储单元的序号信息和二级索引数据确定数据的位置信息，以读取数据。

根据本发明实施例的第三方面，提供一种计算机可读存储介质，其上存储计算机程序指令，其中，所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。

根据本发明实施例的第四方面，提供一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。

本发明实施例通过将数据基于MMAP技术存储在由多个存储单元构成的缓存区内，在接收到数据读取指令时，首先确定该数据的索引数据，之后根据索引数据确定数据的具体存储位置并读取数据，以便对数据进行后续处理，相比于现有技术中的依赖Redis集群缓存系统来存储数据，本发明实施例由于基于MMAP技术，可以满足Replicator进程所需的高效率读写，并且通过设置存储单元的数量和每个存储单元的容量，可以满足Replicator进程所需的超大缓存机制。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：