[发明专利]一种跨数据中心的数据存储和查询方法与系统

权利要求书

1.一种跨数据中心的数据存储和查询方法，包括：

接收文件查询请求，检查第二数据中心是否缓存了被查询的文件，所述文件存储在第一数据中心；

针对第二数据中心缓存了所述文件的情况，校验第一数据中心的主文件系统与第二数据中心的缓存文件系统中存储的所述文件的一致性；

如果一致性检查通过，则直接返回所述文件；

如果未通过一致性检查或未查询到所述文件，则生成一个缓存任务，并向第二数据中心的任务队列提交该缓存任务；

所述任务队列接收到所述缓存任务后，会根据队列中的排队情况安排运行所述缓存任务；

在运行缓存任务期间，向任务队列轮询任务状态，若有异常则重新提交缓存任务；

所述缓存任务运行完成后，返回缓存文件系统中的所述文件；

其中，所述文件查询请求来自一个或多个客户端，其中，第二数据中心的数据接口自动适配和兼容任一个客户端发送的文件查询请求的代码；所述运行缓存任务只包括对文件内容的缓存，主文件系统与缓存文件系统中的对应文件的文件视图一致；

与所述一个或多个客户端对接的数据中心包括对象存储系统或HDFS文件系统；

所述运行缓存任务的方法包括：通过数据中心之间的专线拷贝所述主文件系统的文件到所述缓存文件系统中；如果所述专线空闲，则会开启多线程拷贝所述主文件系统的文件到所述缓存文件系统中；如果所述专线繁忙，则会单线程拷贝所述主文件系统的文件到所述缓存文件系统中；如果专线爆满，则会等待直到专线空闲。

2.如权利要求1所述的方法，所述一致性检查包括：文件大小、文件修改时间、文件摘要。

3.如权利要求1所述的方法，其中，所述数据接口的安全认证接口包括：HTTPS和BASICAUTH的认证方式，以及AWS签名算法和KERBEROS算法。

4.一种跨数据中心的数据存储和查询系统，包括：

文件请求单元，用于接收文件查询请求，检查第二数据中心是否缓存了被查询的文件，所述文件存储在第一数据中心；

一致性检查单元，用于针对第二数据中心缓存了所述文件的情况，校验第一数据中心的主文件系统与第二数据中心的缓存文件系统中存储的所述文件的一致性；如果一致性检查通过，则直接返回所述文件；如果未通过一致性检查或未查询到所述文件，则生成一个缓存任务，并向第二数据中心的任务队列提交该缓存任务；

缓存任务单元，用于所述任务队列接收到所述缓存任务后，会根据队列中的排队情况安排运行所述缓存任务；在运行缓存任务期间，向任务队列轮询任务状态，若有异常则重新提交缓存任务；

文件返回单元，用于所述缓存任务运行完成后，返回缓存文件系统中的所述文件；

其中，所述文件查询请求来自一个或多个客户端，其中，第二数据中心的数据接口自动适配和兼容任一个客户端发送的文件查询请求的代码；所述运行缓存任务只包括对文件内容的缓存，主文件系统与缓存文件系统中的对应文件的文件视图一致；

与所述一个或多个客户端对接的数据中心包括对象存储系统或HDFS文件系统；

所述运行缓存任务的方法包括：通过数据中心之间的专线拷贝所述主文件系统的文件到所述缓存文件系统中；如果所述专线空闲，则会开启多线程拷贝所述主文件系统的文件到所述缓存文件系统中；如果所述专线繁忙，则会单线程拷贝所述主文件系统的文件到所述缓存文件系统中；如果专线爆满，则会等待直到专线空闲。

5.一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至3任一项所述方法。

6.一种计算机可读存储介质，其上存储有可执行指令，所述可执行指令被处理器执行时使处理器执行如权利要求1至3任一项所述方法。