[发明专利]一种批量处理分包方法和系统

说明书

本发明公开了一种批量处理分包方法，包括：根据终端发出的批量请求包中各请求的ID获取对应的服务端地址；将对应相同服务端地址的所有请求封装在一个协议包中，并依据对应的服务端地址将协议包发送到对应的服务端；本发明还公开了一种批量处理分包系统，通过本发明的方法能够实现在海量数据的场景下，服务端对数据请求的高效率响应。

技术领域

本发明涉及海量数据存储和网络通信技术，特别是指一种批量处理分包方法和系统。

背景技术

用户原创内容(UGC，User Generated Content或User Created Content)是一种用户使用互联网的新方式，即由原来的以下载为主变成下载和上传并重。社区网络、视频分享和博客等都是UGC的主要应用形式，随着智能终端的多样化、全球互联网业务的不断发展，UGC业务正在日渐崛起，引起了业界的广泛关注。

微群是伴随微博的迅速发展而衍生出来的一种新的UGC业务形态，微群能够聚合有相同爱好或者相同标签的用户，将所有与之相应的话题全部聚拢在微群里，让志趣相投的用户以微博的形式更加方便的参与和交流。

在微群中，由于数据是用户产生的，海量的用户催生出海量数据，最终带来更大量级的数据的读请求。在此种场景下，服务端如何提高读请求的响应速度，以尽快完成服务，成为一个亟待解决的问题。其中，所述的服务端是指为终端提供服务应答的进程。

为了解决上述问题，现有技术提出了一种异步分包方案，如图1所示，该方案的大致思路是：在逻辑层解析用户发出的批量请求包，每解析出一个请求，即将该请求组成一个新的协议包，并根据对应的微群ID(GUIN：Group User Identification Number，也称为微群账号)所属的号段，发往下层对应的服务进程(即服务端)处理。其中，所述的号段是一个连续的ID范围，是部署或迁移的基本单位。如五万个连续ID成为一个部署号段。

上述方案存在问题的是：

1、网络IO交互多。逻辑层向服务进程分发请求包时，一个协议包中只包含一个请求，带来了网络IO的增加。而在海量数据处理时，网络IO往往容易成为整个系统性能的瓶颈。

2、服务进程协议部分处理次数多。在服务进程层面，每个请求都会带来一次协议的处理，在海量数据处理时，服务进程进行协议处理的次数增多，也会严重影响系统性能。

上述问题直接影响到响应的速度，因此，在海量数据的场景下，仍然需要一种有效的方法来提高对数据请求的响应速度。

发明内容

有鉴于此，本发明的主要目的在于提供一种批量处理分包方法和系统，以解决在海量数据的场景下，服务端如何提高对数据请求的响应速度的问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种批量处理分包方法，该方法包括：

根据终端发出的批量请求包中各请求的ID获取对应的服务端地址；

将对应相同服务端地址的所有请求封装在一个协议包中，并依据对应的服务端地址将所述协议包发送到对应的服务端。

其中，将协议包发送到对应的服务端后，该方法还包括：接收各服务端对请求的处理回包。

所述接收各服务端对请求的处理回包为：

A、设置一个内存异步会话(session)，记录所述终端接收处理回包的能力，并接收各服务端对请求的处理回包；

B、所述内存异步会话判断当前已接收的处理回包是否满足所述终端接收处理回包的能力；如果满足，转入C；如果不满足，转入D；

C、将已接收的处理回包返回给所述终端，停止接收各服务端对请求的处理回包；