[发明专利]基于图数据库的数据加速访问方法、装置及存储介质

说明书

本发明涉及一种大数据，揭露一种基于图数据库的数据加速访问方法，包括：数据存储在存储系统，包括高速存储设备和慢速存储设备；构建图数据库，点为数据，按照数据访问次序对不同点进行连线，连线长度表征访问概率；对已缓存和未缓存到高速设备中的数据在图数据库中进行标记区分；接收客户端数据访问请求；读取图数据库，判断数据访问请求对应的数据是否标记为已缓存；若标记为已缓存，从高速存储设备读取数据；标记为未缓存，从慢速存储设备读取数据，将数据及其相关联的数据缓存到高速存储设备，相关联的数据是指与所述数据的访问概率达到缓存阈值的数据。还提供一种装置、电子设备及计算机可读存储介质。本发明具有智能数据访问预测功能。

技术领域

本发明涉及大数据处理，尤其涉及一种基于图数据库的数据加速访问方法、装置、电子设备及计算机可读存储介质。

背景技术

随着大数据时代的来临，互联网的发展，互联网上的数据越来越多，继而催生出了数据存储的各种方案，随着数据存储技术和网络带宽的发展，数据访问速度又成为了新的瓶颈。当前对于数据访问速度的解决，主要有CDN和高速缓存两种形式解决。

对于CDN来说，通过将已经访问过的数据存储在边缘服务器上，通过缩短客户端到数据的距离，减少延时，同时数据得以缓存，可以减少主服务器压力。通过这种形式来加速数据的访问，但是缓存的数据必须是客户端频繁访问的，这就导致前N次(自设定阈值)访问的客户端都需要从主服务器访问，速度较慢。

高速缓存是使用高速的SSD盘，内存等高速设备，将需要读取的数据缓存其中，减少读取慢速硬盘的时间。经过测试，读取同等大小的数据，内存读取速度是普通硬盘的7～100倍，SSD是普通硬盘的5～10倍，可见若将数据缓存到高速设备中，可以大幅提高数据的访问速度。但是，由于高速设备相较于硬盘来说，价格要贵很多，所以高速设备的容量都很小，目前对于数据缓存的方式，也主要是采用访问即缓存的形式，用户访问过某数据后，高速设备会将数据缓存其中，直到长时间未访问过后才会将数据删除。这种形式的优点是实现简单，缺点就是只能缓存访问过的数据，不会预测数据，若数据是热点数据(就是会多次访问的数据)，那么缓存效果很好，若数据是非热点数据，则没有加速效果。而文件被多次访问的概率要比顺序访问的概率低。

发明内容

本发明提供一种基于图数据库的数据加速访问方法、装置、电子设备及计算机可读存储介质，其主要目的在于对访问次数少的数据也具有加速效果。

为实现上述目的，本发明提供的一种基于图数据库的数据加速访问方法，包括：

将数据存储在存储系统中，所述存储系统包括高速存储设备和慢速存储设备；

构建图数据库，所述图数据库的点为数据，按照数据的访问次序对不同点进行连线，连线的长度表征访问概率；

对已缓存和未缓存到高速设备中的数据在图数据库中进行标记区分；

接收客户端的数据访问请求，读取所述图数据库；

判断所述数据访问请求对应的数据是否标记为已缓存；

如果所述数据访问请求对应的数据标记为已缓存，从高速存储设备中读取数据返回给客户端；

如果所述数据访问请求对应的数据标记为未缓存，从慢速存储设备中读取数据返回给客户端，同时将所述数据和所述数据相关联的数据一起缓存到高速存储设备中，其中，所述数据相关联的数据是指与所述数据的访问概率达到缓存阈值的数据。

可选地，所述构建图数据库的步骤包括：

将用户首次访问的数据标记为根节点，第二次访问的数据标记为引用1，第三次访问的数据标记为引用2，依次类推，将数据以点的形式进行存储；

设定首次标记的引用的访问概率初值；

采集设定时间段的存储系统的访问数据；