[发明专利]一种处理对象存储高并发请求的分布式网关方法

说明书

技术领域

本发明涉及云计算存储领域，具体地说是一种处理对象存储高并发请求的分布式网关方法。

背景技术

在大数据，云计算应用场景中，对象存储是一种扁平化的存储方案，拥有不间断扩展性，限制数据的持久性，无限技术更新和成本控制，特别适用于存储非结构化的数据，并且极大方便了数据的分享和传播。对象存储网关是对象存储基于http协议对接应用的服务接口，具有用户权限验证，对象的上传下载，对象的分享，存储空间的创建等功能。对象存储服务直接面向用户提供存储服务，通过计费要素按需计算费用，计费要素包含容量，请求次数，带宽等。这就要求网关具有按日、月统计用户使用资源的能力。需要网关在原有的功能基础上提供一种高效的数据统计方式，且不能影响用户的的体验。

在国内网络世界中，每天产生的数据流量达到500PB以上。论坛、微博、移动社交、网络媒体活跃着千万级别的用户。海量的文档，图片，视频，音乐需要一种基于网络，且具有不间断扩展，方便数据分享的存储服务。对象存储服务特别适用于这中基于网络提供非结构化数据存储的需求场景。因此要求对象存储的网关能够支持起海量的用户请求，并且具有较高稳定性和安全性。在国内，云服务平台有企业云，政务云，公有云，私有云等，每个平台针对用户业务需求也有大小多少之分。原有的用户平台业务有富余的计算，存储和网络资源。需要对象存储的网关，即能利用原有资源，又能支撑用户现有需求量，并且能够通过横向扩展来进行不间断能力的提升，还可以根据用户的业务缩减来降低业务的处理能力以达到节省成本的目的。

常规网关部署在2台有较高性能的服务器上，通过HA进行主-副灾备，网关可以统计用户连接的数据包流量，数据请求个数。网关直接与云存储集群进行数据交互。常规网关部署相对简单，满足不了针对每个用户的资源使用情况统计，也无法生成历史资源统计报表。随着用户的规模扩展无法进行横向扩展，针对用户规模不大的项目，服务器资源有些浪费。

发明内容

本发明的技术任务是提供一种处理对象存储高并发请求的分布式网关方法。

本发明的技术任务是按以下方式实现的，该方法是在对象存储服务系统中，反代理服务器通过http协议，接收用户的请求包，通过离散算法从分布式网关中选取网关，将请求包转发给所选网关，网关同时对请求包的数据和请求包的基本信息进行处理。

该方法步骤如下：

步骤1）用户通过公网向反代理服务器发送请求包；

步骤2）反代理服务器根据网关权重通过离散算法从分布式网关中选出一个网关，并将请求包转发给此网关；

步骤3）所述的网关将请求包的基本信息送入通信信道，将请求包数据信息与云存储集群进行交互；

步骤4）被送入通信信道的请求包的基本信息被路由到消息处理服务集群，消息处理服务集群将请求包的基本信息录入到mysql数据库，通过web应用程序，根据业务需求提供数据统计功能，根据计费要素提供各维度的展示方式。

所述的反代理服务器根据网关权重通过离散算法从分布式网关中选出一个网关的操作方法如下：

反代理服务器启动时加载一个根据权重匹配的网关地址列表，列表有两个字段组成，分别为列表id和网关地址ip；当用户请求包经过反代理服务器时，根据请求包的url地址和时间戳算出一个随机数；然后这个随机数根据网关列表取模，余数就是所选取的网关列表中的网关id，根据网关id获取网关的ip地址。

所述的列表id是唯一索引，网关地址ip可以重复；所述的网关权重是几，列表数据中会有对应数量的网关地址。

所述的请求包分两类，分别是单包请求和多包请求。

所述的单包请求：在一个原子操作中只发一个请求包；多包请求：在一个原子操作中发起的多个请求包；用户单包请求经过反代理服务器分发没有影响；多包请求经过反代理服务器分发给不同网关进行处理，需要消除网关之间数据包的依赖性；实现方式分为多包请求上传和多包请求下载。

所述的多包请求上传方式为：原始对象上传之前会分成多个文件片，每个文件片记录所属对象，起止位置，大小，md5校验码；文件片通过排队或者并发方式上传。

所述的并发方式上传流程如下：

1）文件片1，文件片2 通过并发方式上传到反代理服务器；

2）反代理服务器经过离散算法，将文件片1的请求包分发给网关1处理，将文件片2的请求包分发给网关2处理；

3）网关1和网关2同时将数据存放于云存储集群；

4）当所有文件片传送完毕，进行文件片校验，如果所有md5校验码正确，即对象上传成功。