[发明专利]一种跨数据中心的数据存储和查询方法与系统

说明书

本公开提供了一种跨数据中心的数据存储和查询方法和系统，其中方法包括：接收文件查询请求，检查第二数据中心是否缓存了被查询的文件，所述文件存储在第一数据中心；针对第二数据中心缓存了所述文件的情况，校验第一数据中心的主文件系统与第二数据中心的缓存文件系统中存储的所述文件的一致性；如果一致性检查通过，则直接返回所述文件；如果未通过一致性检查或未查询到所述文件，则生成一个缓存任务，并向第二数据中心的任务队列提交该缓存任务；所述任务队列接收到所述缓存任务后，会根据队列中的排队情况安排运行所述缓存任务；所述缓存任务运行完成后，返回缓存文件系统中的所述文件。

技术领域

本公开涉及数据存储、数据查询、读取技术领域，特别涉及一种跨数据中心的数据存储和查询方法、系统、电子设备及计算机可读存储介质。

背景技术

数据，是大数据时代最重要的财产，数据的存储和使用，也是各大公司所面临的最重要的问题。面对每日上 TB甚至上PB的数据的存储，各大公司拥有着自己的解决方案，如亚马逊的S3存储系统，谷歌的GFS，开源社区的HDFS以及各大云厂商的对象存储等。面对种类繁多的文件系统，无法做到以一种统一的方法去访问，用户必须针对不同的文件系统去学习其使用方式，学习成本颇高。在数据的使用时，往往存在着跨多个数据中心读取数据的情况，受限于专线带宽及网络稳定性，用户的体验往往及其糟糕。

因此，急需一种跨数据中心的数据存储和查询方法，可以对接多种文件系统，保证同一文件在所有数据中心的一致性，在用户层面，可以用一套代码适用所有的文件系统，在开发者层面，只需维护一套主文件系统，即可实现跨数据中心共享数据。

发明内容

有鉴于此，本公开实施例的目的在于提供一种跨数据中心的数据存储和查询方法，可以对接多种文件系统，保证同一文件在所有数据中心的一致性，避免用户跨多个数据中心读取数据的情况，也避免了受限于专线带宽及网络稳定性，用户的体验糟糕的情况。同时，对于开发者来说，由于设置了文件缓存层，开发者无需在多个数据中心搭建多套文件系统，而是只需维护一套主文件系统，即可实现跨数据中心共享数据。

根据本公开的第一方面，提供了一种跨数据中心的数据存储和查询方法，包括：

接收文件查询请求，检查第二数据中心是否缓存了被查询的文件，所述文件存储在第一数据中心；

针对第二数据中心缓存了所述文件的情况，校验第一数据中心的主文件系统与第二数据中心的缓存文件系统中存储的所述文件的一致性；

如果一致性检查通过，则直接返回所述文件；

如果未通过一致性检查或未查询到所述文件，则生成一个缓存任务，并向第二数据中心的任务队列提交该缓存任务；

所述任务队列接收到所述缓存任务后，会根据队列中的排队情况安排运行所述缓存任务；

在运行缓存任务期间，向任务队列轮询任务状态，若有异常则重新提交缓存任务；

所述缓存任务运行完成后，返回缓存文件系统中的所述文件。

在一个可能的实施例中，其中，所述文件查询请求来自一个或多个客户端，其中，第二数据中心的数据接口自动适配和兼容所述任一客户端发送的文件查询请求的代码。

在一个可能的实施例中，所述运行缓存任务的方法包括：通过数据中心之间的专线拷贝所述主文件系统的文件到所述缓存文件系统中；如果所述专线空闲，则会开启多线程拷贝所述主文件系统的文件到所述缓存文件系统中；如果所述专线繁忙，则会单线程拷贝所述主文件系统的文件到所述缓存文件系统中；如果专线爆满，则会等待直到专线空闲。

在一个可能的实施例中，其中，所述运行缓存任务只包括对文件内容的缓存，主文件系统与缓存文件系统中的对应文件的文件视图一致。

在一个可能的实施例中，所述一致性检查包括：文件大小、文件修改时间、文件摘要。